Elaborazione Visiva Disaccoppiata: Adattamento Multimodale Efficiente tramite Sostituzione di Blocchi Transformer Specifici per Modalità

I ricercatori hanno introdotto un metodo di addestramento innovativo chiamato Elaborazione Visiva Disaccoppiata (DVP) per modelli linguistici di grandi dimensioni multimodali (MLLM). Questo approccio sostituisce gli strati superiori del decoder di un modello linguistico pre-addestrato con un blocco transformer più efficiente, addestrabile separatamente e dedicato alla gestione dei token visivi. Nella prima metà del decoder, i token visivi e testuali vengono elaborati insieme, ma poi si separano: i token visivi passano attraverso il nuovo blocco transformer, mentre quelli testuali continuano attraverso gli strati originali. Questo design riduce i costi computazionali non richiedendo la messa a punto di tutti i parametri, poiché le rappresentazioni visive e testuali divergono negli strati successivi. Maggiori informazioni sono fornite in un articolo su arXiv (2607.26596).