Video-DeepResearch: Progressi negli Agenti Multimodali per Flussi Video Continui

Un nuovo framework chiamato Video-DeepResearch (Video-DR) è stato sviluppato da ricercatori per far passare gli agenti multimodali dalla gestione di immagini statiche alla gestione di flussi video continui, che richiedono un complesso ancoraggio spazio-temporale e l'esplorazione del web aperto. Le valutazioni iniziali hanno rivelato due principali limitazioni nei modelli esistenti: bias di modalità, in cui gli agenti preferiscono ricerche testuali piuttosto che strumenti visivi, e perdita di conoscenza parametrica, che porta a fare affidamento sulla memoria interna invece che su un'autentica esecuzione basata su strumenti. Per superare questi problemi, Video-DR incorpora un pipeline separato di percezione-esplorazione con sblocco graduale degli strumenti, garantendo un approfondito ancoraggio visivo tra i fotogrammi prima del recupero dal web. Il framework impiega un approccio di addestramento in due fasi: fine-tuning supervisionato seguito da Group Relative Policy Optimization (GRPO), che facilita un'esplorazione indipendente che supera i limiti dell'apprendimento per imitazione. Inoltre, il team ha creato Video-DR-Bench, un benchmark per valutare le prestazioni umane e dell'IA. Questa ricerca è documentata in un articolo su arXiv (2608.03979v1) e segna un progresso verso agenti di ricerca multimodali avanzati.