LoCO: Ottimizzazione Rotazionale Composizionale a Basso Rango
È stato introdotto un nuovo metodo di fine-tuning efficiente in termini di parametri chiamato LoCO (Low-rank Compositional Orthogonal fine-tuning). LoCO costruisce trasformazioni ortogonali tramite matrici skew-simmetriche a basso rango e catene di rotazione composizionale, preservando la struttura geometrica delle rappresentazioni pre-addestrate meglio delle esistenti adattamenti a basso rango. Uno schema di approssimazione consente il calcolo completamente parallelo delle rotazioni composizionali, rendendolo pratico per spazi di caratteristiche ad alta dimensionalità. Il metodo mantiene una bassa complessità computazionale con un errore di approssimazione controllato. La validazione in diversi domini include i diffusion transformers. L'articolo è disponibile su arXiv con riferimento 2605.15916.
Fatti principali
- LoCO sta per Low-rank Compositional Orthogonal fine-tuning.
- È un metodo di fine-tuning efficiente in termini di parametri (PEFT).
- LoCO utilizza matrici skew-simmetriche a basso rango e catene di rotazione composizionale.
- Preserva la struttura geometrica delle rappresentazioni pre-addestrate.
- Uno schema di approssimazione consente il calcolo parallelo delle rotazioni composizionali.
- Il metodo è pratico per spazi di caratteristiche ad alta dimensionalità.
- La validazione include i diffusion transformers.
- Articolo disponibile su arXiv: 2605.15916.
Entità
Istituzioni
- arXiv