L'allineamento dei criteri auto-ancorato riduce l'interferenza nei giudici LLM

Un recente articolo su arXiv (2608.14684) esplora un problema relativo alla valutazione degli LLM: quando più liste di controllo dei criteri vengono utilizzate simultaneamente, le loro valutazioni possono entrare in conflitto, portando a risultati incoerenti. La ricerca rivela che solo un terzo dei campioni valutati produce giudizi completamente coerenti attraverso diverse combinazioni di criteri. Per affrontare questa sfida, gli autori introducono l'allineamento dei criteri auto-ancorato (SARA), una tecnica che sfrutta le valutazioni individuali dei criteri del modello come punti di riferimento stabili per sincronizzare il ragionamento multi-criterio. Inoltre, lo studio presenta un quadro di misurazione che esamina l'interferenza attraverso quattro metodi controllati: espansione degli insiemi di criteri, sottoinsiemi, riordino e iniezione di rumore. Questo lavoro è pertinente alla crescente applicazione dei giudici LLM nelle valutazioni automatizzate, specialmente dove sono necessari criteri dettagliati.