RoRA: Un Nuovo Metodo Senza Addestramento per il Potatura dei Token Visivi nei LLM Multimodali

C'è un nuovo studio su arXiv (2608.07088) che introduce RoRA, che sta per Role-Oriented Regional Allocation. Questo framework mira a semplificare la potatura dei token visivi per i modelli linguistici di grandi dimensioni multimodali (MLLM) senza la necessità di addestramento. Tipicamente, gli MLLM utilizzano lunghe sequenze di token visivi, che possono essere piuttosto dispendiose in termini di risorse per il pre-filling e lo storage della cache KV. Mentre i metodi di potatura esistenti si concentrano sull'importanza e la diversità dei token, spesso trascurano come scegliere quali token mantenere e non tengono traccia delle aree già coperte. RoRA adotta un approccio innovativo categorizzando i token in un nucleo protetto, contesto complementare e segmenti dettagliati all'interno di un budget prestabilito. Questo metodo ottimizza i meccanismi di attenzione e mira a migliorare le prestazioni degli MLLM in modo efficiente.