ContextGuard: Potatura dei Token per Omni-LLM
Un team di ricercatori ha introdotto ContextGuard, un framework progettato per la potatura dei token durante l'inferenza nei Modelli Linguistici di Grandi Dimensioni Omni-modali (Omni-LLM). Questi modelli gestiscono enormi quantità di token di input multimodali, con conseguenti richieste computazionali significative. Le attuali tecniche di potatura dei token si concentrano sulla selezione di token cruciali per la query specifica o che corrispondono a indicatori cross-modali, spesso trascurando prove essenziali per altre domande o contesti più ampi. ContextGuard affronta la riduzione dei token mantenendo un ampio contesto audiovisivo, eliminando al contempo informazioni cross-modali ridondanti. Stima la semantica visiva generale dall'audio e scarta i token video il cui significato può probabilmente essere dedotto dall'audio. Questa ricerca è stata pubblicata su arXiv con ID 2605.11605.
Fatti principali
- ContextGuard è un framework di potatura dei token al momento dell'inferenza per Omni-LLM.
- Gli Omni-LLM affrontano un elevato costo computazionale a causa dei molti token di input multimodali.
- I metodi di potatura esistenti possono scartare prove non allineate con la query corrente o con i segnali cross-modali.
- ContextGuard preserva un ampio contesto audiovisivo rimuovendo la ridondanza.
- Prevede la semantica visiva approssimativa dall'audio per potare i token video recuperabili.
- L'articolo è disponibile su arXiv con ID 2605.11605.
- L'approccio mira a consentire l'implementazione nel mondo reale degli Omni-LLM.
- ContextGuard affronta le limitazioni della potatura specifica per query o dell'allineamento cross-modale.
Entità
Istituzioni
- arXiv