Attacco di inversione del gradiente sul fine-tuning LoRA nell'apprendimento federato
Uno studio recente pubblicato su arXiv (2608.01521) introduce un attacco analitico di inversione del gradiente mirato al fine-tuning a bassa adattività (LoRA) in ambienti di apprendimento federato. Questo attacco consente a un server malintenzionato di estrarre informazioni riservate degli utenti incorporando i dati di fine-tuning nei gradienti condivisi. Gli autori sottolineano la resilienza insufficientemente esaminata del fine-tuning federato contro server avversari, che possono manipolare il processo di addestramento per compromettere la privacy degli utenti. Utilizzando un modello preaddestrato contaminato e parametri di fine-tuning, il metodo ricostruisce dati privati. Questa ricerca evidenzia un problema crescente poiché le tecniche PEFT come LoRA guadagnano popolarità nell'apprendimento federato per ridurre i costi di comunicazione e calcolo, sottolineando l'urgente necessità di migliori protezioni della privacy nei framework di apprendimento distribuito.
Fatti principali
- Il documento arXiv:2608.01521 propone un attacco analitico di inversione del gradiente sul fine-tuning LoRA.
- L'attacco consente a un server malintenzionato di recuperare dati utente privati.
- Sfrutta un modello preaddestrato avvelenato e parametri di fine-tuning.
- Il metodo incorpora i dati di fine-tuning nei gradienti condivisi.
- L'apprendimento federato con LoRA riduce i costi di comunicazione e calcolo.
- Gli utenti scaricano un modello preaddestrato e ottimizzano i moduli LoRA localmente.
- Solo i gradienti dei parametri di fine-tuning vengono condivisi con il server.
- La robustezza del fine-tuning federato contro server avversari è poco esplorata.
Entità
Istituzioni
- arXiv