VideoRouter: Doppio Routing Adattivo alle Query per una Comprensione Efficiente di Video Lunghi

I ricercatori hanno introdotto VideoRouter, un framework a doppio router che adatta le query e si basa su InternVL, progettato per una comprensione efficace di video lunghi. Questo sistema affronta i problemi di scalabilità dei grandi modelli video multimodali, ostacolati da lunghe sequenze di token visivi che comportano un uso significativo di memoria e latenza. VideoRouter incorpora un Router Semantico per determinare la strategia di allocazione (copertura temporale ampia o mantenimento adattivo dell'alta risoluzione) e un Router Immagine per valutare la rilevanza dei fotogrammi attraverso i primi strati LLM. Ciò consente una compressione aggressiva dei fotogrammi meno pertinenti, mantenendo i dettagli sulle prove essenziali. Per facilitare l'addestramento del router, il team ha creato Video-QTR-10K, un dataset mirato all'apprendimento delle politiche di allocazione. Questo metodo è adattivo alle query, a differenza delle strategie di compressione fisse, e cerca di migliorare l'allocazione delle prove quando i dati visivi sono distribuiti in modo non uniforme nel tempo.