I modelli linguistici video falliscono nella semplice contabilità degli eventi, secondo uno studio
Un nuovo studio condiviso su arXiv (ID: 2608.06361) mostra che i modelli linguistici video (VLM) faticano a contare gli eventi con precisione, esponendo un problema di temporizzazione. I ricercatori hanno introdotto un metodo chiamato profilazione parametrica basata su tracce per affrontare il conteggio degli eventi in tre specifici compiti video: rimbalzi di una palla contro il muro, battiti di ciglia visivi e transizioni di stato. Hanno analizzato un totale di 2.190 video, variando il numero di eventi (N) e la frequenza (F) mantenendo invariato il rendering. I risultati rivelano che Gemini 3.6 Flash può contare correttamente fino a 12 transizioni di stato a 0,5 e 1,0 Hz con una precisione dell'80%, ma fatica oltre questo limite. Lo studio evidenzia che i benchmark esistenti rendono difficile individuare dove i modelli falliscono, poiché mescolano diversi fattori come il numero di eventi e la complessità visiva. Questa ricerca propone un metodo di valutazione più diretto per migliorare i VLM, in particolare per compiti che richiedono un tracciamento preciso degli eventi.
Fatti principali
- Lo studio introduce la profilazione parametrica basata su tracce per il conteggio degli eventi nei modelli linguistici video.
- Tre compiti video controllati: contatti della palla contro il muro, battiti di ciglia visivi e transizioni di stato categoriche.
- 2.190 video utilizzati, variando il numero di eventi (N) e la frequenza (F) con rendering fisso.
- Ogni video include una traccia di eventi eseguibile per la valutazione a livello di timestamp.
- Gemini 3.6 Flash conta in modo affidabile fino a 12 eventi a 0,5 e 1,0 Hz con una soglia di affidabilità dell'80%.
- Nessuna prestazione positiva affidabile oltre 12 eventi a quelle frequenze.
- I benchmark esistenti intrecciano numero di eventi, frequenza, durata e complessità visiva.
- I benchmark programmatici spesso valutano solo le risposte finali, non verificano gli eventi riportati.
- Lo studio mira a colmare questa lacuna fornendo una valutazione controllata e verificabile.
- I risultati evidenziano un fallimento temporale a stadi nei VLM per la contabilità degli eventi.
Entità
Istituzioni
- arXiv