I LLM Mostrano Eccessiva Fiducia nei Compiti Difficili, Sottofiducia in Quelli Facili

Uno studio preregistrato sulla calibrazione della fiducia nei modelli linguistici di grandi dimensioni (LLM) rivela che, come gli umani, gli LLM tendono ad avere una fiducia eccessiva in media, con la fiducia che supera l'accuratezza. Tuttavia, questa eccessiva fiducia è moderata da un forte effetto difficile-facile: i modelli sono più eccessivamente fiduciosi nei test difficili e sostanzialmente sottofiduciosi in quelli facili. I ricercatori hanno sviluppato LifeEval, un benchmark progettato per valutare la calibrazione del modello attraverso diversi livelli di difficoltà. Lo studio è stato condotto da autori affiliati ad arXiv, un repository per articoli preprint in informatica e intelligenza artificiale. I risultati evidenziano un bias sistematico nella fiducia degli LLM che rispecchia le tendenze cognitive umane, con implicazioni per la fiducia e l'affidabilità nei sistemi di IA.