Il benchmark MEDLEY-BENCH rivela una dissociazione valutazione-controllo della metacognizione in 35 modelli AI

Un nuovo benchmark chiamato MEDLEY-BENCH valuta la metacognizione comportamentale nei sistemi di intelligenza artificiale, esaminando specificamente come i modelli monitorano e regolano i propri processi di ragionamento. Il benchmark valuta 35 modelli provenienti da 12 diverse famiglie attraverso 130 istanze ambigue che coprono cinque domini. Distingue tra ragionamento indipendente, autorivalutazione privata e revisione influenzata socialmente quando i modelli incontrano un genuino disaccordo. Vengono riportate due metriche di punteggio complementari: il Medley Metacognition Score (MMS), che aggrega aggiornamento riflessivo, robustezza sociale e articolazione epistemica in un sistema a livelli, e il Medley Ability Score (MAS), derivato da quattro distinte sotto-abilità metacognitive. I risultati dimostrano una chiara dissociazione tra capacità di valutazione e controllo: l'abilità di valutazione migliora costantemente con l'aumento delle dimensioni del modello all'interno delle famiglie, mentre il controllo non mostra un simile scaling. Un'analisi avversaria progressiva di follow-up che coinvolge 11 modelli ha identificato due distinti profili comportamentali: modelli che rivedono principalmente in risposta all'influenza sociale e quelli che si basano maggiormente sull'autorivalutazione privata. La ricerca evidenzia che la metacognizione rimane sottovalutata nelle attuali pratiche di benchmarking dell'IA, nonostante la sua importanza per i sistemi di ragionamento avanzati. Il benchmark è stato annunciato su arXiv con l'identificatore 2604.16009v1, segnando un contributo significativo al campo delle metodologie di valutazione dell'IA.