LoRA Logit Shift Formalizzato tramite Approssimazione di Fréchet
Una nota tecnica su arXiv formalizza lo spostamento del logit indotto dall'Adattamento a Basso Rango (LoRA) utilizzando un'approssimazione di Fréchet del primo ordine. L'effetto LoRA multistrato viene scomposto in una somma lineare dei contributi per strato più un resto di ordine superiore per l'accoppiamento tra strati.
Fatti principali
- Formalizzazione del primo ordine dello spostamento del logit da LoRA
- Utilizza l'approssimazione di Fréchet del primo ordine attorno alla traiettoria del modello base
- Effetto LoRA multistrato scomposto in somma lineare dei contributi per strato
- Termine resto di ordine superiore rappresenta l'accoppiamento tra strati
- Pubblicato su arXiv sotto Computer Science > Machine Learning
- ID arXiv: 2604.20313
Entità
Istituzioni
- arXiv