SDS-LoRA: Affrontare la scalatura anisotropa del gradiente nell'adattamento a basso rango

Uno studio recente pubblicato su arXiv (ID: 2606.16454) introduce SDS-LoRA, un nuovo approccio volto ad affrontare il problema della scalatura anisotropa del gradiente nell'adattamento a basso rango (LoRA). Questa tecnica facilita l'adattamento efficiente di grandi modelli pre-addestrati per compiti a valle utilizzando matrici a basso rango per parametrizzare gli aggiornamenti dei pesi. Gli autori esplorano i limiti geometrici di LoRA, rivelando che la retropropagazione di un gradiente completo di fine-tuning alle matrici a basso rango produce una scalatura anisotropa influenzata dai loro valori singolari. Questo effetto distorce il gradiente verso le direzioni singolari dominanti mentre ne diminuisce altre, riducendo il rango effettivo dei gradienti e ostacolando l'allineamento ottimale con il gradiente completo di fine-tuning. L'articolo funge da annuncio replace-cross, indicando un aggiornamento rispetto a una versione precedente, sebbene l'abstract non descriva completamente il metodo SDS-LoRA.