MoLF: Un Framework Unificato che Combina LoRA e Full Fine-Tuning per LLM

Un nuovo articolo su arXiv (2605.07111) propone il Mixture of LoRA and Full (MoLF) Fine-Tuning, un framework che instrada dinamicamente gli aggiornamenti del gradiente tra Low-Rank Adaptation (LoRA) e Full Fine-Tuning (FFT) a livello di ottimizzatore. Gli autori sostengono che sia LoRA che FFT presentano limitazioni strutturali se usati da soli, e che MoLF consente una navigazione continua tra i due regimi. Sono state condotte valutazioni empiriche su compiti di SQL, Medical QA e Counterfactual Knowledge utilizzando i modelli Gemma-3-1B, Qwen2.5-1.5B e Qwen2.5-3B. L'articolo evidenzia che, mentre FFT offre plasticità rappresentazionale per l'iniezione di conoscenza ad alta entropia, LoRA può eguagliare o superare le prestazioni di FFT grazie ai vincoli di aggiornamento a basso rango e ai benefici di regolarizzazione. MoLF mira a garantire che i segnali di gradiente esatti siano utilizzati in modo appropriato.