Benchmarking del recupero video-testo sotto spostamenti delle query

Uno studio recente pubblicato su arXiv presenta un nuovo benchmark volto a valutare i modelli di recupero video-testo (VTR) nel contesto di spostamenti delle query nel mondo reale, dove la distribuzione dei dati delle query diverge da quella dei dati di addestramento. Questo benchmark comprende 12 tipi di perturbazioni video categorizzate in cinque livelli di gravità. I risultati indicano che gli spostamenti delle query intensificano il problema dell'hubness, in cui un piccolo numero di elementi della galleria domina e attrae la maggior parte delle query. Per contrastare ciò, i ricercatori introducono HAT-VTR (Hubness Alleviation for Test-time Video-Text Retrieval), un framework progettato per l'adattamento al momento del test che affronta direttamente l'hubness. Questa ricerca sottolinea la suscettibilità dei modelli VTR esistenti agli spostamenti di distribuzione e getta le basi per sistemi di recupero più resilienti.