Predire l'attenzione dei livelli intermedi nei MLLM per un'efficiente potatura dei token visivi

Un nuovo articolo arXiv (2608.06411) affronta i colli di bottiglia di efficienza nei modelli linguistici multimodali di grandi dimensioni (MLLM) causati dall'elaborazione di numerosi token visivi. Gli autori propongono un metodo per prevedere l'attenzione dei livelli intermedi, utilizzata per guidare la potatura dei token visivi. La loro analisi rivela che il livello ottimale per l'attenzione varia tra i campioni, rendendo la selezione a livello fisso subottimale. Inoltre, ottenere l'attenzione dal livello intermedio appropriato richiede l'elaborazione di molti token visivi attraverso diversi livelli, comportando un costo computazionale significativo. L'approccio proposto mira a prevedere l'attenzione dal livello più reattivo senza elaborazione completa, riducendo così il costo computazionale. L'articolo è annunciato come una nuova sottomissione ed è disponibile su arXiv.