Privacy Differenziale a Livello di Token per l'Apprendimento Continuo
Un nuovo framework, Privacy-enhanced Continual Learning (PeCL), propone una privacy differenziale dinamica a livello di token per proteggere i dati sensibili nei modelli di apprendimento continuo. I budget DP uniformi tradizionali degradano l'utilità del modello proteggendo indiscriminatamente tutti i dati. PeCL alloca adattivamente i budget di privacy in base alla sensibilità semantica dei singoli token, garantendo una protezione robusta per le entità private e minimizzando il rumore per le conoscenze non sensibili. Integra inoltre un modulo di modellamento della memoria guidato dalla privacy che sfrutta l'analisi della sensibilità per dimenticare selettivamente le informazioni sensibili e conservare importanti conoscenze generali. Questo approccio affronta le sfide della privacy nell'implementazione del CL in aree sensibili come sanità e finanza.
Fatti principali
- 1. PeCL introduce una strategia di Privacy Differenziale dinamica a livello di token.
- 2. I budget di privacy sono allocati in base alla sensibilità semantica dei singoli token.
- 3. Il framework include un modulo di modellamento della memoria guidato dalla privacy.
- 4. Mira a dimenticare i dati sensibili e ricordare importanti conoscenze generali.
- 5. Affronta le sfide della privacy nei modelli di Apprendimento Continuo.
- 6. I budget DP uniformi tradizionali causano il degrado dell'utilità del modello.
- 7. PeCL minimizza l'iniezione di rumore per le informazioni non sensibili.
- 8. Pubblicato su arXiv con ID 2509.12958.
Entità
Istituzioni
- arXiv