BoostLoRA: Potenziamento del Gradiente per un Fine-Tuning Efficiente

L'approccio innovativo noto come BoostLoRA affronta il bilanciamento tra la dimensione degli adattatori e la loro espressività nel fine-tuning efficiente dei parametri (PEFT). Lo fa addestrando e fondendo iterativamente piccoli adattatori su istanze classificate erroneamente, superando così i vincoli di un sottospazio a rango basso fisso. Utilizzando una strategia di base ROTATE SVD, ogni iterazione viene allocata a un sottospazio ortogonale, consentendo al rango effettivo cumulativo di aumentare linearmente con ogni round, mantenendo ogni adattatore a un rango ultra-basso. Dopo la fusione, gli adattatori vengono scartati, senza alcun overhead di inferenza. Sul modello Qwen2.5-3B, BoostLoRA ottiene l'89,1% su GSM8K e il 68,8% su MATH-500, superando sia TinyLoRA che il fine-tuning completo. Nella generazione di codice, raggiunge il 57,2% su MBPP e l'80,4% su HumanEval, mentre il fine-tuning completo scende al di sotto della linea di base zero-shot.