LoRA-Over: Migliorare l'Adattamento degli LLM con Sovra-Parametrizzazione Strategica
Un nuovo framework chiamato LoRA-Over migliora la generalizzazione dell'Adattamento a Basso Rango (LoRA) per i grandi modelli linguistici (LLM) sovra-parametrizzando strategicamente durante l'addestramento e collassando l'arricchimento durante l'inferenza. Il metodo inietta parametri ausiliari negli adattatori a basso rango per ampliare lo spazio delle ipotesi, quindi li ripiega tramite riformulazione basata sulla decomposizione. Questo affronta la tensione tra efficienza dei parametri e capacità di adattamento, ottenendo un miglior trasferimento tra compiti e domini eterogenei senza aumentare il costo di inferenza. L'approccio è dettagliato in arXiv:2605.16470, presentato il 28 maggio 2025.
Fatti principali
- 1. LoRA-Over è un framework per il fine-tuning efficiente dei parametri degli LLM.
- 2. Inietta parametri ausiliari durante l'addestramento per arricchire il panorama di ottimizzazione.
- 3. L'arricchimento viene collassato durante l'inferenza tramite riformulazione basata sulla decomposizione.
- 4. Mira a migliorare la generalizzazione tra compiti e domini eterogenei.
- 5. Il metodo non aumenta il costo di inferenza.
- 6. L'articolo è disponibile su arXiv con ID 2605.16470.
- 7. L'approccio riesamina il compromesso tra efficienza dei parametri e capacità di adattamento.
- 8. LoRA-Over si basa sull'Adattamento a Basso Rango (LoRA).
Entità
Istituzioni
- arXiv