Il framework MHSA riduce le allucinazioni nei modelli visione-linguaggio

Un nuovo framework chiamato MHSA (Mitigating Hallucinations via Steered Attention) è stato sviluppato dai ricercatori per minimizzare le allucinazioni nei grandi modelli visione-linguaggio (LVLM). Le allucinazioni si verificano quando questi modelli producono output che non corrispondono ai dati visivi. A differenza dei precedenti sforzi, come DHCP (Detecting Hallucinations by Cross-modal Attention Pattern), che si concentravano esclusivamente sulla rilevazione, MHSA mira a correggere i pattern di attenzione cross-modale. Utilizza un semplice generatore MLP a tre strati per generare attenzione corretta, sfruttando segnali di supervisione provenienti sia dal discriminatore DHCP che dal LVLM. Durante l'inferenza, MHSA riduce efficacemente sia le allucinazioni generative che quelle discriminative su più dataset e LVLM, sostituendo l'attenzione cross-modale originale. La ricerca è disponibile su arXiv con il riferimento 2605.14966.