Allineamento dell'Incertezza degli LLM con i Giudizi Umani
Un nuovo studio su arXiv valuta quanto le misure di incertezza al momento dell'inferenza nei modelli linguistici di grandi dimensioni si allineano con l'incertezza umana. I ricercatori hanno testato metriche sia consolidate che nuove, scoprendo che molte misure sono fortemente correlate con l'incertezza umana a livello di gruppo, anche quando non corrispondono alle preferenze di risposta umane. Il lavoro evidenzia il divario tra calibrazione del modello e incertezza allineata all'umano, suggerendo che i segnali al momento dell'inferenza potrebbero migliorare la fiducia degli utenti e il controllo del modello. Il documento è disponibile su arXiv:2508.08204.
Fatti principali
- Lo studio valuta le misure di incertezza al momento dell'inferenza negli LLM
- Confronta l'allineamento con l'incertezza umana a livello di gruppo
- Utilizza metriche sia consolidate che nuove
- Trova un forte allineamento nonostante la mancanza di allineamento con le preferenze di risposta umane
- Documento disponibile su arXiv:2508.08204
- Focus sul miglioramento della fiducia degli utenti e del controllo del modello
Entità
Istituzioni
- arXiv