WaveFT: Fine-Tuning Sparso Basato su Wavelet per l'Adattamento Efficiente di Grandi Modelli Pre-addestrati
Uno studio recente introduce il Wavelet Fine-Tuning (WaveFT), una tecnica progettata per l'adattamento efficace di grandi modelli pre-addestrati rispettando severi vincoli di calcolo e memoria. WaveFT si concentra sull'apprendimento di aggiornamenti sparsi nel dominio wavelet delle matrici dei pesi, consentendo una gestione precisa dei parametri addestrabili al di sotto del rango minimo di LoRA. Utilizzando basi wavelet, che creano campi recettivi semi-locali, questo metodo cattura gradienti spazialmente coerenti in modo più efficace rispetto alla sparsità diretta dei pesi (SHiRA) e supera i problemi associati alle basi di Fourier globali (FourierFT). L'analisi teorica nell'articolo indica che i metodi sparsi possono produrre aggiornamenti di rango elevato, superando i limiti del sottospazio di LoRA e migliorando la capacità rappresentativa. La ricerca è accessibile su arXiv con identificativo 2505.12532.
Fatti principali
- Titolo dell'articolo: Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets for Vision
- ID arXiv: 2505.12532
- Propone il Wavelet Fine-Tuning (WaveFT) per il fine-tuning efficiente dei parametri
- WaveFT apprende aggiornamenti sparsi nel dominio wavelet delle matrici dei pesi
- Consente un controllo granulare dei parametri addestrabili al di sotto del rango minimo di LoRA
- Le basi wavelet forniscono campi recettivi semi-locali che aggregano gradienti spazialmente coerenti
- L'analisi teorica mostra che i metodi sparsi raggiungono aggiornamenti di rango elevato, evitando il collo di bottiglia del sottospazio di LoRA
- L'articolo è una prestampa con tipo di annuncio 'replace-cross'
Entità
Istituzioni
- arXiv