Nuova Metrica Valuta l'Allineamento del Ragionamento AI con le Preferenze Umane

È stato introdotto un nuovo metodo per misurare quantitativamente quanto strettamente il ragionamento strutturato e multi-step dei grandi modelli linguistici si allinea alle preferenze umane. I ricercatori hanno sviluppato l'Alignment Score, una metrica a livello semantico che confronta le tracce di ragionamento a catena (chain-of-thought) di un modello con un riferimento preferito dagli esseri umani. Ciò viene realizzato costruendo matrici basate sull'entropia semantica sui passaggi di ragionamento intermedi e calcolandone la divergenza. L'analisi empirica rivela che l'Alignment Score mostra una forte correlazione con l'accuratezza del compito attraverso diversi modelli e profondità di ragionamento, con l'allineamento che raggiunge il picco nel ragionamento a 2-hop. Lo studio identifica che il disallineamento a profondità di ragionamento maggiori è principalmente guidato da errori specifici, come cambiamenti tematici e ragionamenti ridondanti. Concettualizzando il campionamento a catena come un'estrazione da una distribuzione di possibili percorsi di ragionamento, la ricerca dimostra una correlazione forte e consistente tra l'Alignment Score e misure qualitative chiave come accuratezza, leggibilità e coerenza. Questi risultati supportano l'uso dell'Alignment Score come strumento diagnostico per valutare e migliorare i processi di ragionamento dei sistemi di intelligenza artificiale.