SeePhys Pro: un benchmark rivela lacune nel trasferimento di modalità nel RLVR multimodale

SeePhys Pro è un benchmark progettato per il trasferimento fine-grained di modalità, volto a esaminare se i modelli di IA mantengono le loro capacità di ragionamento quando le informazioni essenziali passano dal testo alle immagini. A differenza dei tipici benchmark incentrati sulla visione che valutano un singolo tipo di input, SeePhys Pro include quattro versioni semanticamente allineate per ogni problema, con elementi visivi progressivamente maggiori. Le valutazioni rivelano che i modelli leader hanno difficoltà con l'invarianza di rappresentazione: le prestazioni tipicamente diminuiscono quando le informazioni passano dal linguaggio ai diagrammi, con il grounding delle variabili visive come principale ostacolo. Per affrontare questa vulnerabilità in fase di inferenza, i ricercatori hanno creato ampi dataset di addestramento per il RLVR multimodale e hanno impiegato l'addestramento cieco come strumento diagnostico. Hanno scoperto che l'apprendimento per rinforzo, anche con tutte le immagini di addestramento oscurate, può migliorare le prestazioni su set di validazione non mascherati. Questa ricerca è disponibile su arXiv, identificatore 2605.09266.