Disentanglement dei Vettori di Attività Senza Dati tramite Curvatura Approssimata di Kronecker-Factored
Un nuovo metodo da arXiv (2602.17385) affronta l'interferenza tra compiti nell'Aritmetica dei Compiti per modelli foundation. L'Aritmetica dei Compiti consente un adattamento modulare combinando vettori di attività, ma ciò causa spesso deriva della rappresentazione e perdita di prestazioni. Le tecniche di regolarizzazione esistenti richiedono dati esterni al compito, violando i vincoli di modularità e privacy. L'approccio proposto riformula la regolarizzazione della deriva come un problema di approssimazione della matrice di curvatura, utilizzando la Curvatura Approssimata di Kronecker-Factored (K-FAC) per creare un regolarizzatore senza dati. Raggiunge risultati all'avanguardia nell'addizione e negazione di compiti, con complessità costante nel numero di compiti e robustezza al ridimensionamento dei vettori di attività, eliminando la necessità di dati esterni.
Fatti principali
- Il paper arXiv 2602.17385 propone il disentanglement dei pesi senza dati per l'Aritmetica dei Compiti.
- L'Aritmetica dei Compiti combina vettori di attività per l'adattamento modulare dei modelli foundation.
- L'interferenza tra compiti causa deriva della rappresentazione e prestazioni degradate.
- La regolarizzazione esistente richiede dati esterni al compito, in conflitto con modularità e privacy.
- Il nuovo metodo utilizza la Curvatura Approssimata di Kronecker-Factored (K-FAC) come regolarizzatore.
- Raggiunge risultati all'avanguardia nell'addizione e negazione di compiti.
- Il metodo ha complessità costante nel numero di compiti.
- Promuove robustezza al ridimensionamento dei vettori di attività, eliminando la necessità di dati esterni.
Entità
Istituzioni
- arXiv