Il Benchmark Grid2Matrix Rivela le Carenze dei Modelli Visione-Linguaggio nella Comprensione dei Dettagli Visivi

È stato introdotto un nuovo parametro di valutazione denominato Grid2Matrix (G2M) per valutare i Modelli Visione-Linguaggio (VLM) esaminando la loro capacità di interpretare in modo approfondito gli elementi visivi. A differenza degli attuali test di ragionamento multimodale che potrebbero mascherare le carenze, G2M mette alla prova i modelli con una griglia di colori e una mappatura di colori a numeri, richiedendo loro di generare la matrice appropriata. I ricercatori hanno osservato che i VLM subiscono un improvviso calo delle prestazioni durante le valutazioni zero-shot end-to-end, fallendo anche con griglie relativamente piccole invece di mostrare un declino graduale all'aumentare della complessità visiva. Variando le dimensioni della griglia e il numero di colori, il benchmark aumenta sistematicamente l'intricatezza visiva riducendo al contempo la confusione semantica. Le indagini sugli encoder visivi dei VLM di due categorie distinte hanno indicato che conservano significativamente più informazioni sulla griglia rispetto ai loro output end-to-end, implicando che la codifica visiva da sola non spieghi i fallimenti. Questo studio, citato in arXiv:2604.09687v1, sottolinea le limitazioni degli attuali VLM nel catturare accuratamente tutti i dettagli visivi, nonostante le loro forti prestazioni su molti benchmark esistenti. È stato presentato come abstract interdisciplinare, enfatizzando le tecniche di valutazione controllata per migliorare la comprensione delle carenze dei modelli.