MCU: Un Nuovo Approccio all'Unlearning Continuo nei Modelli Linguistici Multimodali di Grandi Dimensioni
Un nuovo approccio chiamato Merging for Continual Unlearning (MCU) è stato sviluppato dai ricercatori per affrontare le difficoltà associate all'unlearning continuo nei modelli linguistici multimodali di grandi dimensioni (MLLM). I metodi di unlearning convenzionali sono spesso one-shot e faticano quando si trovano di fronte a richieste di unlearning sequenziali. L'uso ripetuto di tecniche one-shot può comportare una perdita cumulativa di utilità, un rebound dell'unlearning e una deriva della ritenzione. MCU affronta questo problema fondendo più adapter di unlearning one-shot in un unico adapter con ogni richiesta in arrivo. Il team di ricerca ha scoperto attraverso l'analisi di merging leave-one-out che questi adapter mostrano significative dipendenze cross-task, che possono migliorare la trasferibilità dell'unlearning cross-task ma possono anche causare interferenze che riducono l'efficacia. Lo studio è disponibile su arXiv con l'identificatore 2608.04548.
Fatti principali
- MCU sta per Merging for Continual Unlearning.
- Affronta l'unlearning continuo nei modelli linguistici multimodali di grandi dimensioni (MLLM).
- I metodi di unlearning esistenti per MLLM sono one-shot e falliscono in scenari continui.
- Le operazioni one-shot ripetute causano degradazione cumulativa dell'utilità, rebound dell'unlearning e deriva della ritenzione.
- MCU fonde dinamicamente gli adapter di unlearning one-shot in un unico adapter.
- L'analisi di merging leave-one-out rivela dipendenze cross-task tra gli adapter.
- Queste dipendenze hanno effetti contrastanti: trasferibilità e interferenza.
- L'articolo è disponibile su arXiv con ID 2608.04548.
Entità
Istituzioni
- arXiv