Personalizzazione degli LLM con tutela della privacy tramite adattatori componibili
Un recente studio pubblicato su arXiv (2604.21571) introduce un framework a tre livelli volto a consentire la personalizzazione con tutela della privacy per i modelli linguistici di grandi dimensioni. Questo metodo separa le informazioni personali dai pesi condivisi utilizzando un modello statico di base, moduli LoRA adattabili specifici per dominio e artefatti proxy per singolo utente. La rimozione di un proxy porta a un apprendimento deterministico. Testato su Phi-3.5-mini e Llama-3.1-8B, la tecnica dimostra una differenziazione specifica per utente, tornando al baseline dopo la cancellazione del proxy (divergenza KL ~0.21 nats, tasso di successo di verifica 82-89%) garantendo al contempo una contaminazione minima tra utenti. Inoltre, questa architettura affronta efficacemente i rischi associati agli attacchi di inversione del modello, inferenza di appartenenza ed estrazione dei dati.
Fatti principali
- Il paper arXiv:2604.21571 propone un'architettura a tre livelli per la personalizzazione degli LLM con tutela della privacy.
- L'architettura utilizza un modello base statico, adattatori LoRA componibili esperti di dominio e artefatti proxy per utente.
- La cancellazione degli artefatti proxy costituisce un apprendimento deterministico.
- Valutato sui modelli Phi-3.5-mini e Llama-3.1-8B.
- Divergenza KL di circa 0.21 nats dopo la rimozione del proxy.
- Tasso di superamento della verifica dell'82-89% per l'unlearning.
- Contaminazione quasi nulla tra utenti.
- Mitiga gli attacchi di inversione del modello, inferenza di appartenenza ed estrazione dei dati di training.
Entità
Istituzioni
- arXiv