M-ORE: Editing Online a Decoupling delle Modalità per MLLM

I ricercatori hanno introdotto M-ORE, un editor ricorsivo online che separa le modalità per l'adattamento continuo dei modelli linguistici multimodali di grandi dimensioni (MLLM). Gli attuali editor di LLM solo testuali faticano con gli MLLM a causa di conflitti derivanti da attivazioni visivamente dominanti e interferenze da modifiche sequenziali. M-ORE utilizza un approccio unificato di proiezione prossimale, impiegando un aggiornamento in forma chiusa tramite ricorsione di Sherman-Morrison, che garantisce un overhead costante per ogni modifica. Preserva statistiche di località specifiche del modulo sia per lo stack di testo che per il proiettore visivo per evitare aggiornamenti dominati da input visivi, mentre esegue aggiornamenti continui in uno spazio di modifica ortogonale a basso rango stabile. Questo metodo è progettato per l'editing online di modelli con vincoli stringenti di calcolo e memoria.