EgoMonth: Primo Benchmark Video Egocentrico a Livello Mensile per la Memoria a Lungo Termine
Un team di ricercatori ha lanciato EgoMonth, il primo benchmark per la comprensione video egocentrica a livello mensile, volto a valutare la memoria spaziotemporale a lungo termine dei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM). Questo benchmark include più di 300 ore di registrazioni in prima persona di 20 individui, coprendo una durata da 20 a 120 giorni, insieme a 1.443 domande e risposte a scelta multipla accuratamente formulate. Presenta un quadro di valutazione a 14 compiti basato su principi cognitivi, categorizzato in tre livelli: Consolidamento dello Schema, Indicizzazione Episodica e Ragionamento a Cascata. La ricerca valuta sia MLLM open-source che closed-source, scoprendo notevoli carenze nelle loro capacità di memoria a lungo termine. Questa iniziativa affronta una significativa mancanza degli attuali benchmark video, che spesso utilizzano video provenienti dal web privi di continuità nel contesto spaziotemporale. I risultati sono disponibili in un articolo su arXiv (arXiv:2608.13113).
Fatti principali
- EgoMonth è il primo benchmark per la comprensione video egocentrica a livello mensile.
- Include oltre 300 ore di registrazioni in prima persona della vita quotidiana di 20 partecipanti.
- Le registrazioni coprono un periodo da 20 a 120 giorni.
- Il benchmark include 1.443 coppie di domande e risposte a scelta multipla create da esseri umani.
- Il quadro di valutazione ha 14 compiti su tre livelli cognitivi: Consolidamento dello Schema, Indicizzazione Episodica e Ragionamento a Cascata.
- Sono stati valutati MLLM open-source e closed-source all'avanguardia.
- I benchmark esistenti si basano su video provenienti dal web privi di continuità spaziotemporale tra i clip.
- L'articolo è disponibile su arXiv con ID 2608.13113.
Entità
Istituzioni
- arXiv