VLATIM Benchmark Testa il Ragionamento Logico dei VLM nei Giochi Puzzle

È stato introdotto un nuovo benchmark chiamato Vision-Language Against The Incredible Machine (VLATIM) per testare quanto bene i modelli Vision-Language(-Action) (VLM) possano affrontare sfide logiche nei giochi puzzle punta-e-clicca. Questo benchmark si basa sul classico gioco The Incredible Machine 2 (TIM). VLATIM cerca di collegare il ragionamento logico sofisticato con l'azione continua che richiede movimenti precisi del mouse. Presenta cinque sezioni sequenziali che valutano abilità dalla comprensione visiva di base al completamento completo del puzzle. Risultati recenti mostrano una differenza significativa tra ragionamento e implementazione, con modelli proprietari più grandi che dimostrano migliori capacità di pianificazione.