Nuovo Benchmark per la Sicurezza dell'IA Mira agli Attacchi di Scomposizione Occulti sui Modelli Linguistici

I ricercatori hanno introdotto Benchmarks for Stateful Defenses (BSD), una nuova pipeline di generazione dati progettata per valutare le difese contro gli attacchi avversari occulti sui modelli linguistici. Il lavoro affronta una lacuna critica nelle valutazioni di sicurezza dell'IA, che tradizionalmente si concentrano su attacchi palesi e scenari a basso rischio. Nella realtà, gli avversari possono eludere le salvaguardie esistenti inviando numerose piccole query apparentemente benigne che individualmente sembrano innocue ma collettivamente consentono il completamento di compiti pericolosi. Questa strategia, nota come attacchi di scomposizione, si dimostra altamente efficace nel facilitare l'uso improprio. Utilizzando la pipeline BSD, il team ha curato due nuovi dataset che innescano costantemente rifiuti dai modelli di frontiera rimanendo troppo impegnativi per i modelli open-weight più deboli. La ricerca, documentata nella preprint arXiv 2506.06414v2, evidenzia le difese stateful come contromisura promettente. Queste difese mantengono il contesto attraverso più query per rilevare schemi di uso improprio coordinati che altrimenti passerebbero inosservati. I risultati sottolineano la vulnerabilità degli attuali meccanismi di sicurezza a strategie di attacco sofisticate e frammentate che sfruttano la natura incrementale delle richieste di assistenza.