Trasferimento Cross-Modale Ancorato al Testo per il Ragionamento Visivo Contro-Commonsense
Un recente articolo pubblicato su arXiv (2608.06938) contesta la convinzione comune che le carenze nel ragionamento visivo contro-commonsense dei modelli linguistici multimodali di grandi dimensioni (MLLM) siano dovute a una mancanza di ancoraggio visivo. I risultati empirici degli autori indicano che gli MLLM possiedono già le informazioni visive necessarie e che le risposte corrette sono presenti nel loro quadro di decodifica. La limitazione effettiva risiede nel decoder linguistico condiviso, che tende a privilegiare i prior linguistici dominanti, in particolare nei contesti fattuali a bassa frequenza. Per affrontare questo problema, introducono un metodo di costruzione dei dati ancorato al testo, con la distillazione della frequenza dei fatti (FFD) come elemento chiave, che valuta la forza dei fatti di commonsense e affina le istanze contro-commonsense verificabili. L'articolo completo è accessibile all'indirizzo https://arxiv.org/abs/2608.06938.
Fatti principali
- L'articolo è intitolato 'Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning'.
- È pubblicato su arXiv con identificatore 2608.06938.
- La ricerca si concentra sul ragionamento visivo contro-commonsense nei modelli linguistici multimodali di grandi dimensioni (MLLM).
- L'analisi empirica degli autori mostra che gli MLLM catturano già le prove visive rilevanti e che la risposta corretta esiste nel loro spazio di decodifica.
- Il collo di bottiglia è identificato nel decoder linguistico condiviso, che favorisce i prior linguistici dominanti rispetto alle prove visive.
- Il problema è più pronunciato per gli scenari fattuali a bassa frequenza.
- L'articolo propone un pipeline di costruzione dei dati ancorato al testo.
- Il componente centrale del pipeline è la distillazione della frequenza dei fatti (FFD), che stima la forza prioritaria dei fatti di commonsense.
Entità
Istituzioni
- arXiv