Modelli di incertezza dei LLM a confronto con la cognizione umana
Un nuovo articolo di informatica indaga quanto l'incertezza dei grandi modelli linguistici sia simile all'incertezza umana, una questione poco esplorata nella quantificazione dell'incertezza. Lo studio esamina l'allineamento dell'incertezza—la presenza di segnali di incertezza simili a quelli umani—nel comportamento manifesto dei LLM e nei pattern di attivazione interna. Verifica se i modelli mostrano simultaneamente allineamento e calibrazione su dataset di richiamo fattuale a scelta multipla e a risposta aperta, e caratterizza l'effetto del fine-tuning tramite istruzioni su questi aspetti. Il lavoro mira a riconoscere e combattere l'allucinazione migliorando la calibrazione, l'accuratezza dei giudizi di incertezza rispetto all'efficacia del compito.
Fatti principali
- La quantificazione dell'incertezza è un sottocampo in crescita dell'analisi comportamentale dei LLM.
- Lo studio si concentra su quanto l'incertezza dei LLM sia simile all'incertezza umana.
- Investiga l'allineamento dell'incertezza nel comportamento dei LLM e nei pattern di attivazione interna.
- I modelli vengono testati per allineamento e calibrazione simultanei su più dataset.
- I dataset coprono sia richiamo fattuale a scelta multipla che a risposta aperta.
- Viene caratterizzato l'effetto del fine-tuning tramite istruzioni su allineamento e calibrazione.
- Il campo mira principalmente a riconoscere e combattere l'allucinazione.
- La calibrazione misura l'accuratezza dei giudizi di incertezza rispetto all'efficacia del compito.
Entità
Istituzioni
- arXiv