La ricerca sull'IA rivela una sovraconfidenza sistematica nel metodo di addestramento dei modelli linguistici

Un nuovo articolo di ricerca identifica un difetto fondamentale nella distillazione on-policy (OPD), una tecnica ampiamente utilizzata per affinare i modelli linguistici dopo l'addestramento iniziale. Sebbene l'OPD migliori con successo l'accuratezza delle attività, produce costantemente modelli con gravi problemi di sovraconfidenza. Questo problema deriva da una discrepanza informativa: durante l'addestramento, i modelli ricevono informazioni contestuali privilegiate dagli insegnanti che non sono disponibili durante l'effettivo utilizzo. I ricercatori hanno formalizzato questa prospettiva teoricamente, dimostrando che le metriche di successo condizionate dall'insegnante non si traducono in misure di confidenza affidabili al momento dell'implementazione. Hanno scoperto che un contesto privilegiato utile provoca il collasso dell'entropia e crea un bias di ottimismo sistematico nei modelli. Per affrontare questo fallimento di calibrazione, il team ha proposto CaOPD (OPD consapevole della calibrazione), un nuovo framework che stima la confidenza empirica dalle esecuzioni del modello. Questo approccio sostituisce la confidenza auto-riferita con obiettivi radicati nello studente e distilla stime di confidenza riviste. L'articolo, intitolato "L'illusione della certezza: disaccoppiare capacità e calibrazione nella distillazione on-policy", è stato pubblicato su arXiv con l'identificatore 2604.16830v1. Questa ricerca evidenzia limitazioni critiche nelle attuali pratiche di raffinamento dei modelli linguistici che potrebbero influenzare le applicazioni di IA nel mondo reale dove una segnalazione accurata della confidenza è essenziale.