Metriche di Jailbreak per LLM Messe in Discussione in un Nuovo Studio

Un nuovo preprint su arXiv (2605.14418) intitolato 'The Great Pretender: A Stochasticity Problem in LLM Jailbreak' mette in discussione l'affidabilità del tasso di successo degli attacchi (ASR) come metrica di riferimento per gli attacchi di jailbreak ai LLM. Gli autori notano che metodi provenienti da istituzioni rinomate come il BoN di Anthropic o il Crescendo di Microsoft Research spesso rivendicano punteggi ASR elevati contro LLM di livello industriale, ma questi punteggi non riflettono le prestazioni nel mondo reale. Ad esempio, un prompt di jailbreak può raggiungere un ASR dell'80% sulla carta contro un modello closed-source con barriere di sicurezza, ma riuscire solo il 50% delle volte (5 su 10 tentativi) contro un modello target aperto. Lo studio sostiene che l'ASR non è una quantità stabile, evidenziando un problema di stocasticità nella creazione e valutazione dei jailbreak.