Il filtro privacy di OpenAI sottoperforma con scritture non latine in uno studio con 42 benchmark
Uno studio indipendente ha valutato il Privacy Filter di OpenAI (OPF), un rilevatore di PII bidirezionale con 1,5 miliardi di parametri, utilizzando 42 benchmark sintetici in cinque domini e 22 lingue. I risultati, pubblicati su arXiv (2608.02616), indicano che OPF eccelle rispetto a Presidio e XLM-RoBERTa sui benchmark annotati con PII, raggiungendo punteggi F1 di 0,855 su AI4Privacy e 0,464 su SPY medical, mentre Presidio ottiene 0,431 e 0,273, e XLM-RoBERTa 0,269 e 0,111. Tuttavia, OPF vacilla con scritture non latine e prosa narrativa, ottenendo punteggi tra 0,04 e 0,57 sui benchmark NER. Lo studio rappresenta la prima valutazione completa di OPF, sottolineando le sue difficoltà in ambienti multilingue e ricchi di contesto.
Fatti principali
- Il Privacy Filter di OpenAI (OPF) è un rilevatore di PII bidirezionale con 1,5 miliardi di parametri.
- La valutazione ha coperto 42 benchmark sintetici in 22 lingue e 5 domini.
- OPF ha raggiunto F1=0,855 su AI4Privacy e 0,464 su SPY medical.
- OPF ha superato Presidio (0,431, 0,273) e XLM-RoBERTa (0,269, 0,111) sui benchmark annotati con PII.
- XLM-RoBERTa ha superato OPF su tutte le 13 lingue indiche e non latine nel NER multilingue.
- GPT-4o ha guidato su PII mediche, legali e finanziarie (SPY: media 0,643, Gretel: 0,527).
- OPF ha guidato su PII sintetiche strutturate (media 0,71) e supporto clienti (0,60).
- L'F1 di OPF è sceso a 0,04-0,57 sui benchmark NER con prosa narrativa, e è crollato per l'arabo (0,04) e il cirillico (0,03).
- OPF è stato più forte su email (0,78) e telefono (0,76) PII, più debole su persona (0,40) e indirizzo (0,30).
Entità
Istituzioni
- OpenAI
- arXiv