POLAR-Bench: Benchmarking del compromesso tra privacy e utilità negli agenti LLM

POLAR-Bench (Policy-aware adversarial Benchmark) è stato sviluppato come strumento diagnostico per valutare l'equilibrio tra privacy e utilità negli agenti basati su grandi modelli linguistici (LLM). Crea scenari in cui un modello affidabile, dotato di una politica sulla privacy, interagisce con un modello di terze parti che tenta di estrarre sia informazioni rilevanti per il compito sia attributi sensibili. Coprendo 10 domini e comprendente 7.852 campioni, il benchmark valuta privacy e utilità attraverso l'appartenenza a insiemi deterministica. Manipola le dimensioni della politica sulla privacy e le strategie di attacco lungo due assi indipendenti, generando una superficie diagnostica 5×5 per ciascun modello. I risultati indicano un divario significativo: i modelli leader trattengono oltre il 99% degli attributi protetti, mentre i modelli open-weight più piccoli (intervallo 1–30B) mostrano prestazioni inferiori.