Logit Lens Rivela Perché gli LVLM Allucinano Oggetti Nonostante una Forte Attenzione Visiva

Un recente articolo su arXiv (2608.07302) contesta la convinzione comune che un'attenzione visiva inadeguata sia la causa principale dell'allucinazione di oggetti nei Large Vision-Language Models (LVLM). I ricercatori hanno scoperto che sia gli oggetti reali che quelli allucinati ricevono livelli comparabili di attenzione visiva nei livelli medio-alti del modello, indicando che il problema non risiede nella quantità di attenzione ma nella sua focalizzazione e nel ragionamento. Utilizzando Logit Lens per decodificare le caratteristiche visive nelle aree ad alta attenzione, hanno scoperto che le regioni degli oggetti reali potevano essere mappate con precisione ai token degli oggetti target, a differenza di quelle degli oggetti allucinati. Lo studio rivela due meccanismi distinti di allucinazione: l'incertezza visiva, che deriva da regioni semanticamente simili e può essere affrontata tramite mascheramento, e il prior contestuale, influenzato da forti pattern di co-occorrenza. Gli autori suggeriscono strategie per rilevare e ridurre queste allucinazioni, fornendo una nuova prospettiva per migliorare l'affidabilità degli LVLM, cruciale per far progredire i sistemi di intelligenza artificiale nella comprensione visiva.