Difesa tramite mescolamento vulnerabile nell'inferenza sicura dei Transformer
Una recente ricerca sull'inferenza sicura crittografica per i Transformer, pubblicata su arXiv, rivela vulnerabilità nelle difese basate sul mescolamento. Mentre questo metodo garantisce che il client riceva solo l'output finale senza che il server apprenda i suoi input, i layer non lineari causano inefficienze comunicative. Studi precedenti permettevano al client di accedere alle attivazioni intermedie, ponendo rischi poiché gli avversari potevano estrarre i pesi del modello. I nuovi risultati indicano che un attacco sofisticato può allineare attivazioni mescolate in modo diverso, consentendo l'estrazione di questi pesi sfruttando i dati allineati. Ciò solleva preoccupazioni sulla robustezza delle attuali tecniche di inferenza sicura nella tecnologia AI.
Fatti principali
- L'inferenza sicura crittografica per i Transformer garantisce che il client apprenda solo l'output finale.
- Il server non apprende nulla sull'input del client.
- I layer non lineari causano colli di bottiglia nell'efficienza a causa dei round di comunicazione e della trasmissione dei dati.
- Lavori precedenti rivelano le attivazioni intermedie al client per il calcolo in chiaro.
- Esporre le attivazioni consente agli avversari di estrarre i pesi del modello.
- La difesa tramite mescolamento rivela solo attivazioni permutate casualmente al client.
- Un nuovo attacco allinea attivazioni mescolate in modo diverso a una permutazione comune.
- L'attacco sfrutta le attivazioni allineate per estrarre i pesi del modello.
Entità
Istituzioni
- arXiv