La Struttura dell'Attenzione Visiva Rivela le Allucinazioni nei Modelli Linguistici Multimodali di Grandi Dimensioni

Una nuova tecnica è stata scoperta dai ricercatori per identificare allucinazioni visive nei modelli linguistici multimodali di grandi dimensioni (MLLM) attraverso l'esame dei pattern ad alta frequenza nell'attenzione visiva. I risultati, dettagliati in uno studio su arXiv, indicano che l'energia laplaciana a livello di strato può rivelare le origini delle preferenze allucinate e i momenti in cui le risposte accurate riappaiono brevemente. Introducono LaSCD (Laplacian-Spectral Contrastive Decoding), un metodo di decodifica che non richiede addestramento, che utilizza l'energia laplaciana per selezionare strati rilevanti e riformula matematicamente i logit del token successivo. Questo metodo affronta il problema che le allucinazioni possono verificarsi anche quando i modelli allocano un'attenzione significativa ai token dell'immagine ma comunque deviano verso risposte errate. Il documento è accessibile su arXiv:2605.11559.