Rilevamento di Allucinazioni nei Modelli Linguistici a Diffusione tramite Analisi di Serie Temporali Multivariate
È stato proposto un nuovo framework per il rilevamento di allucinazioni nei modelli linguistici di grandi dimensioni a diffusione (D-LLM), trattando le traiettorie di denoising come serie temporali multivariate. Il metodo, dettagliato in arXiv:2608.14632, affronta i limiti delle tecniche di rilevamento esistenti che comprimono le traiettorie lungo le dimensioni temporali o dei token, perdendo così pattern cruciali come la convergenza incoerente e la propagazione di errori tra token. Preservando la piena struttura bidimensionale token-step, il framework mira a migliorare le prestazioni di rilevamento. Questa ricerca è significativa poiché i D-LLM, nonostante la loro promessa, rimangono suscettibili di generare contenuti fluidi ma fattualmente errati, una sfida affrontata anche dai modelli autoregressivi. L'approccio proposto sfrutta l'intero processo di denoising per identificare meglio i segnali di allucinazione, migliorando potenzialmente l'affidabilità dei D-LLM nei compiti di generazione testuale.
Fatti principali
- Il framework proposto formula le traiettorie di denoising come serie temporali multivariate per il rilevamento di allucinazioni.
- I metodi esistenti comprimono le traiettorie lungo le dimensioni temporali o dei token, perdendo informazioni utili.
- Il framework cattura pattern rilevanti per le allucinazioni come la convergenza incoerente e la propagazione di errori tra token.
- I modelli linguistici di grandi dimensioni a diffusione (D-LLM) sono vulnerabili alle allucinazioni.
- La ricerca è presentata nell'articolo arXiv 2608.14632.
- Il metodo mira a migliorare le prestazioni di rilevamento rispetto agli approcci esistenti.
Entità
Istituzioni
- arXiv