Nuova Ricerca Introduce il Metodo del Disaccordo Inter-Modello per la Quantificazione dell'Incertezza nei LLM

Un nuovo articolo di ricerca introduce un metodo per quantificare l'incertezza nei grandi modelli linguistici combinando l'auto-consistenza con il disaccordo inter-modello. Il lavoro affronta una limitazione critica in cui i modelli producono risposte erronee con sicurezza che rimangono consistenti attraverso più campioni, causando il fallimento dei proxy di incertezza aleatoria. I ricercatori propongono di aggiungere un termine di incertezza epistemica calcolato dal disaccordo semantico tra diversi modelli in un ensemble. Questa metrica di incertezza totale, testata su cinque modelli ottimizzati per istruzioni da 7-9 miliardi di parametri e dieci compiti a risposta lunga, dimostra capacità migliorate di calibrazione del ranking e selezione. L'approccio opera in condizioni di accesso black-box, richiedendo solo output testuali generati da ensemble di modelli con scala comparabile. L'articolo analizza scenari in cui i modelli mostrano eccessiva sicurezza mentre generano risposte errate identiche, dimostrando che il disaccordo semantico inter-modello aumenta precisamente quando le misure di incertezza aleatoria collassano. Questa ricerca contribuisce a un utilizzo più robusto dei LLM fornendo metodi migliori di quantificazione dell'incertezza che non richiedono accesso agli interni del modello.