LoRDBA: Adattatore Binario per il Fine-Tuning On-Device di LLM

Un nuovo metodo chiamato LoRDBA (Low-Rank Double-Binary Adaptation) consente un fine-tuning efficiente di modelli linguistici di grandi dimensioni su dispositivi edge. Sostituisce le due matrici a basso rango in un adattatore LoRA standard con matrici di segno binarie e fattori di scala leggeri per canale, convertendo il forward pass dell'adattatore in moltiplicazioni di accumulo di segni. Ciò elimina la necessità di un ramo denso in virgola mobile, riducendo memoria e calcolo. L'analisi teorica mostra che la qualità della ricostruzione dipende dal rapporto residuo-magnitudine dei fattori LoRA originali. Gli esperimenti dimostrano che LoRDBA supera le baseline a basso bit a dimensioni del modello corrispondenti in modalità adattatore.