Grounding Video Debolemente Supervisionato come un Gioco

I ricercatori propongono un approccio basato sulla teoria dei giochi per il grounding temporale video debolmente supervisionato, affrontando le limitazioni dei metodi esistenti. I framework attuali si basano sulla selezione di proposte di momenti con apprendimento contrastivo e ricostruzione, ma trascurano l'apprendimento cross-modale a grana grossa e le complesse dipendenze tra le proposte. Il nuovo metodo modella l'allineamento fine-grained tra fotogrammi video e parole della query ed elimina la necessità di proposte predefinite. Questo è il primo tentativo di inquadrare il compito come un gioco, migliorando l'accuratezza del grounding senza la costosa generazione di proposte.