Stima della Confidenza Zero-Shot per Piccoli LLM: Quando le Baseline Supervisionate Non Valgono la Pena di Essere Addestrate

Uno studio recente pubblicato su arXiv (2605.02241) esplora la capacità di piccoli modelli linguistici (7-8 miliardi di parametri) di valutare accuratamente la propria correttezza senza fare affidamento su dati di addestramento supervisionati. L'analisi valuta gli indicatori di confidenza zero-shot rispetto a benchmark supervisionati in stile RouteLLM su tre famiglie di modelli e due dataset, comprendenti 1.000 e 500 query per ciascun modello. La probabilità logaritmica media dei token, un approccio zero-shot, eguaglia o supera i benchmark supervisionati in-distribuzione (AUROC 0,650-0,714 rispetto a 0,644-0,676) e li supera significativamente fuori-distribuzione (0,717-0,833 contro 0,512-0,564). Queste intuizioni sono fondamentali per i metodi di routing locale-cloud, suggerendo che la stima della confidenza potrebbe non richiedere addestramento supervisionato, riducendo così i costi di implementazione.