La distrazione dell'attenzione causa allucinazioni nei MLLM, un nuovo algoritmo le corregge

Un recente studio pubblicato su arXiv indica una connessione tra le allucinazioni oggettuali nei modelli linguistici multimodali di grandi dimensioni (MLLM) e un fenomeno di distrazione dell'attenzione simile a quello osservato negli esseri umani. I ricercatori dimostrano che quando l'attenzione è divisa, gli esseri umani soffrono di una ridotta chiarezza visiva e descrizioni errate, mentre i MLLM mostrano incongruenze nell'attenzione spaziale tra più teste e un declino temporale della concentrazione sui token immagine durante la decodifica. I risultati teorici suggeriscono che tale dispersione dell'attenzione complica i modelli e mina la loro generalizzazione nella classificazione. Per mitigare questo problema, introducono l'Approccio Focalizzato sull'Attenzione per una Migliore Percezione dell'Immagine (AFIP), che migliora l'attenzione attraverso l'arricchimento cross-head e rafforza il grounding visivo con miglioramenti dinamici dell'attenzione storica.