La ricerca rivela uno spostamento della preferenza visiva nei modelli linguistici di grandi dimensioni omnimodali

Uno studio recente disponibile su arXiv (ID: 2604.16902v1) indaga la preferenza di modalità nei modelli linguistici di grandi dimensioni omnimodali (OLLM), evidenziando un notevole spostamento dall'attenzione sul testo verso una più forte inclinazione per gli input visivi. I ricercatori hanno creato un benchmark basato sul conflitto insieme a una metrica per i tassi di selezione della modalità per valutare dieci OLLM rappresentativi. I risultati indicano che la maggior parte mostra una chiara preferenza visiva, in contrasto con la natura incentrata sul testo dei tradizionali modelli visione-linguaggio (VLM). Lo studio rivela che questa preferenza si sviluppa progressivamente negli strati intermedi e finali attraverso l'analisi strato per strato. Utilizzando questi segnali interni, la ricerca affronta efficacemente le allucinazioni cross-modali e ottiene buoni risultati su tre benchmark multimodali, sfidando le convinzioni esistenti sul dominio del testo nell'IA multimodale.