Avalon-ToM-Bench: Nuovo benchmark valuta la Teoria della Mente nei LLM tramite meccaniche di gioco asimmetriche

Avalon-ToM-Bench è stato lanciato come nuovo standard per valutare la Teoria della Mente (ToM) a grana fine nei grandi modelli linguistici (LLM). Questo benchmark utilizza le dinamiche di informazione asimmetrica del gioco di deduzione sociale The Resistance: Avalon per operazionalizzare la ToM. Invece di concentrarsi sul gameplay completo, scompone la ToM in una struttura 2x2: ragionamento epistemico vs motivazionale, combinato con inferenza vs azione. Utilizzando query progettate da umani e limitate dalla prospettiva, mira a specifiche abilità di ToM. Un'analisi che ha coinvolto 28 LLM ha rivelato tre risultati principali: 1) I modelli dimostrano una forte comprensione delle regole del gioco ma mostrano capacità di ToM più deboli, indicando problemi nel ragionamento sociale piuttosto che una mancanza di conoscenza del dominio. 2) Le valutazioni meccanicistiche rivelano che, sebbene i modelli spesso dispongano di informazioni rilevanti, faticano a comunicarle efficacemente. Lo studio completo è disponibile su arXiv, riferimento 2608.09638.