La normalizzazione batch aumenta i rischi per la privacy nelle reti neurali
Un nuovo studio rivela che la normalizzazione batch (BN), una tecnica ampiamente utilizzata per stabilizzare l'addestramento delle reti neurali profonde, amplifica significativamente la memorizzazione di campioni anomali, portando a maggiori vulnerabilità della privacy. La ricerca, pubblicata su arXiv, ha condotto estesi test empirici utilizzando tre metodi: memorizzazione involontaria di campioni fuori distribuzione, influenza per campione tramite norme del gradiente e attacchi di inferenza di appartenenza (MIA). Su più dataset e architetture, i modelli con BN hanno mostrato costantemente una maggiore memorizzazione di dati atipici e sono risultati sostanzialmente più suscettibili agli MIA. I risultati evidenziano un rischio critico per la privacy nella BN, comunemente impiegata per una convergenza più rapida e stabilità dell'addestramento.
Fatti principali
- La normalizzazione batch (BN) è ampiamente utilizzata per una convergenza più rapida e un addestramento stabile delle reti neurali profonde.
- Lo studio indaga l'impatto della BN sulla memorizzazione di campioni atipici o anomali.
- Sono stati utilizzati tre approcci complementari: memorizzazione involontaria di campioni fuori distribuzione, influenza per campione tramite norme del gradiente e attacchi di inferenza di appartenenza (MIA).
- Su più dataset e architetture, la BN aumenta sostanzialmente la memorizzazione degli outlier.
- I modelli con BN mostrano una suscettibilità significativamente maggiore agli attacchi di inferenza di appartenenza.
- La ricerca è pubblicata su arXiv con ID 2605.24420.
- L'articolo è un annuncio di tipo incrociato.
- Lo studio evidenzia i rischi per la privacy associati alla BN.
Entità
Istituzioni
- arXiv