La calibrazione della confidenza nei LLM dipende dalle scelte di misurazione

Uno studio recente pubblicato su arXiv indica che la calibrazione della confidenza nei modelli linguistici di grandi dimensioni (LLM) è significativamente influenzata dai metodi utilizzati per valutare i punteggi di probabilità dei token e la confidenza espressa. La ricerca mantiene costante l'elicitazione della confidenza verbalizzata utilizzando un unico template di prompt, una specifica scala di probabilità e un formato di output uniforme, mentre varia i parametri di misurazione: la stringa di risposta a cui viene assegnato il punteggio di probabilità del token, il metodo di lettura di tale punteggio dai token di risposta e il contesto di condizionamento per la misurazione. Testato su quattro benchmark di QA su tre famiglie di modelli aperti 7–8B base/Instruct, con varianti Qwen2.5 più grandi come controlli di robustezza, i risultati rivelano che il contesto di condizionamento può influenzare sia il segno che l'entità del divario dell'Expected Calibration Error (ECE). Questi risultati evidenziano l'importanza di affrontare la sensibilità del protocollo nelle valutazioni di confidenza dei LLM.