OPD-V: Auto-Distillazione Visiva On-Policy per LLM Multimodali

Un nuovo articolo di ricerca introduce OPD-V, un paradigma di auto-distillazione visiva on-policy progettato per affrontare lo squilibrio di modalità nei modelli linguistici di grandi dimensioni multimodali (MLLM). L'articolo, disponibile su arXiv (2608.05131), sostiene che i metodi esistenti di auto-distillazione on-policy (OPSD) trascurano lo squilibrio di modalità, dove l'informazione testuale domina la generazione, impedendo al modello di integrare completamente l'input multimodale. Per studiare questo, gli autori costruiscono un Insegnante Positivo con un'Immagine Zoom-In e un Insegnante Negativo con un'Immagine Maschera, che mostrano diversi gradi di squilibrio di modalità. I loro esperimenti rivelano che l'equilibrio di modalità stesso può servire come informazione privilegiata. Motivato da ciò, OPD-V implementa un approccio OPSD visivo che sfrutta questa intuizione per migliorare il ragionamento visivo nei MLLM. L'articolo è un annuncio di tipo cross, indicando che è stato sottoposto a una conferenza o a una rivista. La ricerca contribuisce al campo dell'IA e dell'apprendimento automatico, in particolare nel migliorare le capacità di ragionamento multimodale.