EgoCross Challenge a CVPR 2026: Video QA Egocentrico Cross-Domain
La prima EgoCross Challenge si è svolta durante il Terzo Workshop EgoVis al CVPR 2026, presentando un benchmark per il question answering su video egocentrici attraverso diversi domini. Questa sfida valuta la capacità dei modelli linguistici multimodali di grandi dimensioni di estendere la loro generalizzazione oltre le tipiche situazioni quotidiane, utilizzando video in prima persona provenienti da quattro aree specifiche: chirurgia, assemblaggio industriale, sport estremi e punti di vista animali. Ogni valutazione consiste in un video egocentrico, una domanda corrispondente e quattro possibili risposte tra cui il modello deve scegliere. Il rapporto tecnico delinea i compiti della sfida, le risorse di benchmark e due percorsi ufficiali di Codabench: il Percorso a Sorgente Limitata, che limita i partecipanti al modello di base ufficiale e a un set di supporto limitato, e il Percorso Open-Source, che consente maggiore flessibilità nella selezione di modelli e dati di addestramento, vietando al contempo la costruzione manuale di dati di addestramento del dominio target. La sfida mira a migliorare la comprensione dell'IA in contesti visivi specializzati, con impatti in settori come la formazione medica, l'automazione industriale e la ricerca sulla fauna selvatica.
Fatti principali
- EgoCross è un benchmark di question answering video egocentrico cross-domain.
- La prima EgoCross Challenge è stata ospitata al Terzo Workshop EgoVis al CVPR 2026.
- Il benchmark valuta modelli linguistici multimodali di grandi dimensioni su video in prima persona provenienti da quattro domini: chirurgia, assemblaggio industriale, sport estremi e prospettive animali.
- Ogni esempio di test include un clip video, una domanda e quattro risposte candidate.
- La sfida ha due percorsi ufficiali di Codabench: Sorgente Limitata e Open-Source.
- Il Percorso a Sorgente Limitata limita i partecipanti al modello di base ufficiale e a un piccolo set di supporto.
- Il Percorso Open-Source consente scelte più ampie di modelli e dati, ma vieta la costruzione manuale di dati di addestramento del dominio target.
- Il rapporto tecnico introduce il compito della sfida e le risorse di benchmark.
Entità
Istituzioni
- EgoVis Workshop
- CVPR
- Codabench