GLoRA: LoRA Federata Consapevole del Gauge per l'Adattamento di LLM
Un approccio innovativo chiamato GLoRA affronta un problema critico nella LoRA federata utilizzata per i modelli linguistici di grandi dimensioni. La LoRA federata convenzionale combina fattori di adattamento a basso rango provenienti da vari client; tuttavia, questi fattori dipendono dal gauge. Ciò significa che un singolo aggiornamento può essere rappresentato attraverso innumerevoli fattorizzazioni, portando a incongruenze nell'aggregazione a livello di fattore. Al contrario, GLoRA determina un sottospazio di aggiornamento di consenso derivato dai proiettori dei client e consolida gli aggiornamenti all'interno di coordinate di riferimento condivise, mantenendo l'integrità semantica dell'aggiornamento a basso rango. Inoltre, supporta client con capacità variabili attraverso un readout compatibile con il rango. La ricerca è disponibile su arXiv con ID 2605.06733.
Fatti principali
- La LoRA federata consente un adattamento efficiente dei parametri degli LLM sotto dati decentralizzati.
- La media diretta dei fattori LoRA è dipendente dalla rappresentazione a causa dell'equivalenza di gauge.
- GLoRA stima un sottospazio di aggiornamento di consenso dai proiettori dei client.
- GLoRA aggrega gli aggiornamenti dei client in coordinate di riferimento condivise.
- GLoRA rappresenta l'aggregazione semantica degli aggiornamenti interamente in forma a basso rango.
- GLoRA supporta capacità eterogenee dei client tramite readout compatibile con il rango.
- L'articolo è disponibile su arXiv con ID 2605.06733.
- Il metodo è proposto per risolvere il disallineamento semantico nell'aggregazione LoRA federata esistente.
Entità
Istituzioni
- arXiv