Compromessi tra Rango LoRA e Quantizzazione su un Modello Text-to-SQL da 60 Milioni di Parametri
Uno studio controllato su T5-small (60 milioni di parametri) e sul benchmark WikiSQL esamina come il rango LoRA, i moduli target e la quantizzazione influenzino l'accuratezza del compito e le metriche di sistema. LoRA con r=16 recupera entro 11,6 punti percentuali dal fine-tuning completo.
Fatti principali
- Lo studio utilizza T5-small (60 milioni di parametri) e il benchmark WikiSQL
- Valori di rango LoRA testati: 2, 4, 8, 16, 32
- Riporta accuratezza del compito, parametri addestrabili, picco di memoria di addestramento, latenza di inferenza, throughput
- LoRA con r=16 recupera entro 11,6 punti percentuali
- Inquadra l'adattamento come un compromesso vincolato
Entità
—