La calibrazione degli LLM nasconde modelli di eccessiva confidenza localizzati

Uno studio recente pubblicato su arXiv indica che le metriche di calibrazione convenzionali per i modelli linguistici di grandi dimensioni (LLM) possono oscurare critici problemi di miscalibrazione localizzata. Gli autori introducono un quadro diagnostico che sviluppa una rappresentazione dello spazio di input consapevole della calibrazione e valuta la miscalibrazione locale firmata utilizzando tecniche di kernel smoothing. Valutando quattro benchmark reali e dodici diversi LLM, scoprono una diffusa variabilità di calibrazione dipendente dall'input, rivelando che i modelli tendono ad essere eccessivamente fiduciosi in alcuni casi mentre mancano di fiducia in altri. Questa ricerca sottolinea la necessità di valutazioni di affidabilità più dettagliate che vadano oltre le semplici metriche di confidenza globale.