GRIP-VLM: Apprendimento per Rinforzo per un Potatura Efficiente dei Modelli Visione-Linguaggio

I ricercatori hanno introdotto GRIP-VLM, un nuovo framework che utilizza l'apprendimento per rinforzo per potare i token visivi nei Modelli Visione-Linguaggio (VLM). I metodi tradizionali di potatura si basano su rilassamenti a gradiente continuo, che spesso rimangono bloccati in minimi locali subottimali a causa della natura discreta e non convessa della potatura dei token. GRIP-VLM formula la potatura come un Processo Decisionale di Markov e impiega l'Ottimizzazione delle Politiche di Gruppo (GRPO) con riscaldamento supervisionato per esplorare direttamente lo spazio di selezione discreto. Il metodo include uno scorer consapevole del budget per gestire i tassi di compressione. Questo approccio mira a ridurre il carico computazionale dell'elaborazione di un numero massiccio di token visivi nei VLM, rendendoli più efficienti senza sacrificare le prestazioni.