Disimparamento Multimodale Federato tramite Chiusura degli Ancoraggi Sensibili all'Intreccio
Il metodo di nuova introduzione, EASE, affronta il problema del disimparamento nell'apprendimento multimodale federato (FML). In FML, i modelli vengono addestrati utilizzando coppie immagine-testo private su client decentralizzati; tuttavia, l'incorporamento congiunto complica il processo di disimparamento intrecciando la conoscenza dimenticata all'interno delle modalità e dei sottospazi del gradiente dei client. Gli attuali metodi di disimparamento federato non disconnettono efficacemente il canale di ricostruzione cross-modale influenzato dall'accoppiamento bilineare né differenziano le direzioni di aggiornamento per la conoscenza dimenticata e quella mantenuta. Gli autori propongono un Principio di Ancoraggio, notando che gli allineamenti dimenticati sono sostenuti da tre ancoraggi residui derivanti dall'accoppiamento bilineare, dall'intreccio dei sottospazi e dagli aggiornamenti federati in corso. EASE, che mira a migliorare la privacy nell'apprendimento multimodale decentralizzato, è dettagliato su arXiv (2605.00733).
Fatti principali
- EASE è un metodo per il disimparamento multimodale federato.
- L'apprendimento multimodale federato (FML) addestra modelli su client decentralizzati con coppie immagine-testo private.
- L'incorporamento congiunto intreccia la conoscenza dimenticata attraverso le modalità e i sottospazi del gradiente dei client.
- Gli approcci precedenti non recidono il canale di ricostruzione cross-modale.
- Il Principio di Ancoraggio identifica tre ancoraggi residui per gli allineamenti dimenticati.
- Lo spostamento bilaterale dei rami visivo e linguistico chiude il canale di ricostruzione cross-modale.
- Il metodo separa le direzioni del gradiente rilevanti per la dimenticanza e per la conservazione.
- L'articolo è su arXiv con ID 2605.00733.
Entità
Istituzioni
- arXiv