Entropia Semantica Conforme Adattativa per l'Incertezza degli LLM
Un nuovo approccio chiamato Entropia Semantica Conforme Adattativa (ACSE) è stato introdotto dai ricercatori per misurare l'incertezza negli output dei grandi modelli linguistici. Questa tecnica prevede il clustering dell'entropia semantica da varie risposte e la modifica dinamica dei punteggi in base alle caratteristiche semantiche. Inoltre, ACSE utilizza la calibrazione conforme per garantire l'affidabilità statistica, affrontando efficacemente i problemi di eccessiva fiducia e allucinazione in applicazioni dove la sicurezza è fondamentale.
Fatti principali
- 1. Gli LLM mostrano eccessiva fiducia, specialmente quando allucinano.
- 2. I metodi esistenti di quantificazione dell'incertezza privilegiano misure lessicali o probabilistiche.
- 3. ACSE stima l'incertezza a livello di prompt misurando la dispersione semantica.
- 4. Il metodo raggruppa l'entropia semantica da più risposte diverse.
- 5. ACSE regola adattativamente i punteggi di incertezza in base alle caratteristiche semantiche del cluster.
- 6. La calibrazione conforme garantisce l'affidabilità statistica per decisioni di accettazione/astensione.
- 7. L'approccio è mirato a contesti critici per la sicurezza.
- 8. Il paper è disponibile su arXiv con ID 2605.04295.
Entità
Istituzioni
- arXiv