HTC-VLM: La compressione ibrida dei token visivi migliora l'efficienza dei modelli visione-linguaggio

HTC-VLM, un nuovo framework ibrido di compressione dei token visivi, è stato sviluppato da ricercatori per mitigare le richieste computazionali e di memoria associate ai modelli visione-linguaggio (VLM) che dipendono da numerosi token visivi. Questo framework, descritto in un articolo su arXiv (ID: 2512.08240), distingue tra semantica e aspetto attraverso due percorsi integrati: un percorso continuo che conserva le caratteristiche dettagliate dei patch ViT e un percorso discreto che utilizza la quantizzazione MGVQ per ancoraggi semantici, rappresentati da quattro token. Questi percorsi si fondono in una sequenza ibrida di 580 token, che viene poi compressa in un singolo token tramite una maschera di attenzione di disambiguazione e un collo di bottiglia. HTC-VLM mantiene una performance media dell'87,2% su sette benchmark: GQA, VQAv2, MMBench, MME, POPE, SEED-Bench e ScienceQA-Image, superando i metodi di compressione esistenti che faticano a bilanciare la compressione continua e la quantizzazione discreta. L'articolo è stato marcato come tipo replace-cross su arXiv, indicando un'edizione rivista. Questa ricerca migliora l'efficienza dell'IA, in particolare nei modelli multimodali, fornendo una strategia di compressione dei token ben bilanciata.