JACTUS: Un Framework Unificato per l'Adattamento e la Compressione Congiunta di Modelli Pre-addestrati
I ricercatori hanno introdotto un nuovo metodo chiamato JACTUS, acronimo di Joint Adaptation and Compression with a Task-aware Union of Subspaces. Questo approccio fonde il fine-tuning efficiente in termini di parametri (PEFT) con la compressione a basso rango in un unico framework. A differenza delle tecniche tradizionali che prima comprimono e poi fanno fine-tuning, spesso causando una discrepanza tra le aree compresse e i compiti, JACTUS affronta direttamente questo problema. Lo fa raccogliendo le covarianze del gradiente di input e pre-attivazione da un piccolo set di calibrazione, formando un'unione ortogonale con il sottospazio dei pesi pre-addestrati. Assegnando il rango globalmente in base ai guadagni marginali per parametro, addestra una matrice core compatta, migliorando sia l'efficienza che le prestazioni. Puoi trovare questa ricerca su arXiv con ID 2605.02829.
Fatti principali
- JACTUS sta per Joint Adaptation and Compression with a Task-aware Union of Subspaces.
- Unisce il fine-tuning efficiente in termini di parametri e la compressione a basso rango in un unico framework.
- I metodi tradizionali prima comprimono poi fanno fine-tuning, causando potenziale disallineamento.
- JACTUS stima le covarianze del gradiente di input e pre-attivazione da un piccolo set di calibrazione.
- Forma un'unione ortogonale di queste covarianze con il sottospazio dei pesi pre-addestrati.
- Il rango è allocato globalmente in base al guadagno marginale per parametro.
- Viene addestrata solo una matrice core compatta.
- L'articolo è disponibile su arXiv con ID 2605.02829.
Entità
Istituzioni
- arXiv