SKIP: Routing Cross-Modale Sparso per un QA Multimodale Efficiente

I ricercatori hanno introdotto un nuovo sistema di inferenza chiamato SKIP (Salient Knowledge-Injected Pathways) volto a ridurre il carico computazionale nel question answering multimodale knowledge-intensive (KI-MMQA). Questo approccio innovativo affronta i problemi legati a lunghe sequenze di token visivi, recupero estensivo di dati da grandi database e la necessità di un'integrazione cross-modale approfondita per ogni query, anche quando solo una frazione dei dati visivi e recuperati è rilevante. SKIP migliora l'efficienza attraverso percorsi sparsi basati sulle domande, che includono caratteristiche come il pruning dei token visivi guidato dalle domande, il recupero sparso specifico per regione e un controllore di budget dinamico per la verifica della conoscenza. Gli autori presentano anche un bound information-bottleneck che mostra come ottenere una sparsità visiva ottimale. Puoi consultare l'articolo su arXiv, riferimento 2607.25422.