OTT-Vid: Compressione di Token tramite Trasporto Ottimale per Video LLM

I ricercatori propongono OTT-Vid, un metodo di compressione dei token senza addestramento per modelli linguistici di grandi dimensioni per video (Video-LLM) che utilizza il trasporto ottimale per ridurre i token visivi tra i fotogrammi. Il metodo ha due fasi: il pruning spaziale identifica il contenuto rappresentativo per fotogramma, e il trasporto ottimale tra fotogrammi vicini stima la comprimibilità temporale con una massa di token non uniforme per proteggere i token semanticamente importanti. Ciò affronta il crescente costo di inferenza dei Video-LLM man mano che vengono scalati a video più lunghi. L'approccio migliora i metodi esistenti che si basano sulla somiglianza tra fotogrammi o su euristiche di segmentazione.