Autovalutazione degli LLM: Sforzo e Abilità Superano la Fiducia

Uno studio recente pubblicato su arXiv (2605.07806) introduce un quadro multidimensionale per l'autovalutazione nei Large Language Models, ispirato alla teoria della valutazione cognitiva della psicologia. I ricercatori hanno identificato sei dimensioni di valutazione, come sforzo e abilità, oltre alle metriche convenzionali di fiducia, e hanno testato la loro efficacia nel prevedere fallimenti del modello su 12 LLM e 38 compiti in otto diversi domini. I risultati indicano che le dimensioni legate alla competenza, in particolare sforzo e abilità, eguagliano o superano la fiducia nella previsione dell'accuratezza, fornendo al contempo stime più realistiche. Questi risultati mettono in discussione la dipendenza dalla fiducia espressa come misura di affidabilità.