SpookyBench Rivela l'Incapacità dei VLM di Percepire Pattern Temporali

I ricercatori hanno creato un nuovo benchmark chiamato SpookyBench per testare quanto bene i modelli visione-linguaggio (VLM) comprendano pattern basati sul tempo nei video. A differenza dei benchmark tradizionali che si concentrano sugli aspetti spaziali, SpookyBench utilizza solo sequenze di frame simili a rumore per imitare eventi reali come segnali biologici e comunicazioni segrete. Mentre gli esseri umani possono riconoscere accuratamente forme e pattern in queste sequenze oltre il 98% delle volte, i migliori VLM ottengono uno sconcertante 0%. Ciò evidenzia un problema critico: i VLM si affidano troppo alle caratteristiche spaziali e faticano con gli indizi temporali. Inoltre, la loro capacità di elaborare informazioni temporali si deteriora più velocemente di quella umana quando si trovano di fronte a bassi rapporti segnale-rumore spaziali. I risultati sottolineano una significativa lacuna negli attuali modelli di IA, suggerendo la necessità di un miglior ragionamento temporale. Questa ricerca è apparsa su arXiv con ID 2505.24867.