Il Metodo PAGE Identifica il Modulo Dominante dell'Adattatore LoRA
Un recente sforzo di ricerca ha svelato PAGE (Projected Adapter Gradient Energy), una sonda di sensibilità basata sui gradienti che valuta l'energia iniziale del gradiente addestrabile per gli adattatori LoRA. Valutando due famiglie di modelli su quattro compiti downstream, PAGE dimostra che l'energia del gradiente è concentrata principalmente su una specifica proiezione discendente FFN superficiale, denominata modulo di adattamento dominante. Mentre l'indice del layer di questo modulo è influenzato dall'architettura, rimane stabile tra i compiti. Di conseguenza, gli autori introducono DomLoRA, un metodo per ottimizzare il posizionamento degli adattatori mirando a questo modulo chiave. Questi risultati sfidano l'approccio prevalente di distribuire ampiamente gli adattatori, indicando che posizionarne strategicamente pochi può sostenere o migliorare le prestazioni.
Fatti principali
- PAGE stima l'energia iniziale del gradiente addestrabile per gli adattatori LoRA
- L'energia del gradiente si concentra su una singola proiezione discendente FFN superficiale
- Il modulo di adattamento dominante dipende dall'architettura ma è stabile tra i compiti
- DomLoRA è un metodo di posizionamento che mira al modulo dominante
- Lo studio è stato testato su due famiglie di modelli e quattro compiti downstream
- I risultati suggeriscono che meno adattatori possono mantenere o migliorare le prestazioni
Entità
—