AS-LoRA: Selezione Adattiva dei Componenti LoRA nell'Apprendimento Federato che Preserva la Privacy

Un nuovo framework chiamato AS-LoRA affronta gli errori di aggregazione nel fine-tuning federato differenzialmente privato di modelli di grandi dimensioni utilizzando LoRA. Gli errori derivano dalla struttura moltiplicativa di LoRA e sono aggravati dal rumore DP, compromettendo stabilità e accuratezza. I metodi esistenti applicano una singola modalità di aggiornamento uniformemente su layer e round, ignorando l'asimmetria strutturale tra i fattori LoRA e le dinamiche round-wise. AS-LoRA introduce tre assi adattivi: libertà layer-wise (ogni layer seleziona il proprio componente attivo indipendentemente), adattività round-wise (la selezione si aggiorna nei round di comunicazione) e un punteggio curvature-aware derivato da un'approssimazione di perdita del secondo ordine. Teoricamente, AS-LoRA elimina il floor di errore di ricostruzione degli schemi layer-tied, accelera la convergenza e orienta implicitamente le soluzioni. L'articolo è disponibile su arXiv.