FedPA-LoRA: Nuovo framework per la LoRA federata eterogenea

Uno studio recente presenta FedPA-LoRA, un framework volto a ridurre le imprecisioni di aggregazione e inizializzazione nella Low-Rank Adaptation (LoRA) federata eterogenea. Questa ricerca, disponibile su arXiv con l'identificatore 2608.15381, affronta la sfida di ottenere un'aggregazione precisa degli aggiornamenti locali garantendo al contempo la continuità dei fattori ottimizzati localmente durante la messa a punto federata di modelli linguistici di grandi dimensioni. Mentre l'aggregazione fattore per fattore mantiene la continuità dei fattori, porta a discrepanze di aggregazione. Al contrario, la ricostruzione nello spazio del prodotto minimizza le discrepanze ma aumenta le discrepanze di inizializzazione a livello di fattore. FedPA-LoRA risolve efficacemente questi problemi e garantisce la convergenza sia per ranghi client omogenei che eterogenei. I client mantengono i propri fattori locali durante tutti i round di comunicazione e allineano i loro prodotti con un riferimento globale specifico per rango, garantendo la continuità dell'ottimizzazione locale e la coerenza globale in mezzo alla diversità dei dati. Il server gestisce l'aggregazione degli aggiornamenti provenienti da ranghi diversi.