Ancoraggio della Regione del Prompt: Nuovo Metodo Migliora le Prestazioni Visive dei Modelli Multimodali

Uno studio recente pubblicato su arXiv (2608.04726) presenta Visualized Task Semantics (VTS), un metodo che sposta la domanda dall'immagine al testo mantenendo il problema originale e la sua soluzione. In una valutazione che coinvolge sei modelli linguistici multimodali di grandi dimensioni (MLLM) su quattro benchmark, è stato osservato un calo di accuratezza in tutte le 24 combinazioni modello-compito, con una media di 17,8 punti. I ricercatori hanno scoperto che, sebbene i modelli spesso trascrivano accuratamente le domande visive, spesso trascurano di utilizzarle, rivelando un divario nel canale semantico che va oltre il riconoscimento ottico dei caratteri (OCR). Per affrontare questo problema, propongono l'ancoraggio della regione del prompt, che collega l'area della domanda con la semantica digitata e recupera la sua rappresentazione chiara da una prospettiva mascherata. Il loro approccio migliora l'accuratezza VTS da 58,0 a 66,3 a costi di addestramento equivalenti, mantenendo le prestazioni sui benchmark standard. Questa ricerca, condotta da ricercatori anonimi, sottolinea una limitazione significativa nel ragionamento multimodale e propone un metodo per migliorare le prestazioni quando le istruzioni sono incorporate nelle immagini.