Ottimizzazione senza retrazione per il fine-tuning LoRA sulla varietà di Stiefel
È stato introdotto un nuovo algoritmo che opera senza retrazioni o parametri di penalità per l'ottimizzazione sulla varietà di Stiefel, specificamente mirato al fine-tuning di grandi modelli linguistici utilizzando LoRA. Questo approccio elimina la necessità di costose ortonormalizzazioni e meticolosi aggiustamenti del passo, operando direttamente sulla varietà. Sfrutta le caratteristiche di forte convessità della funzione di penalità quadratica insieme alla levigatezza prossimale della varietà di Stiefel, garantendo convergenza globale con complessità di iterazione ottimali sia per passi costanti che decrescenti. Gli autori riformulano la sfida del fine-tuning LoRA come un problema di ottimizzazione su varietà, presentando Manifold-LoRA per un adattamento geometrico potenziato. Questa ricerca è documentata in arXiv:2607.25299.
Fatti principali
- L'algoritmo proposto è privo di retrazioni e di parametri di penalità.
- Evita costose ortonormalizzazioni per matrici su larga scala.
- Sfrutta la proprietà di forte convessità della funzione di penalità quadratica.
- Utilizza la levigatezza prossimale della varietà di Stiefel.
- Raggiunge convergenza globale con le migliori complessità di iterazione note.
- Riformula il fine-tuning LoRA come un problema di ottimizzazione su varietà.
- Introduce Manifold-LoRA per un adattamento accelerato dalla geometria.
- Pubblicato su arXiv con ID 2607.25299.
Entità
Istituzioni
- arXiv