Audit di validità dei benchmark di sicurezza degli agenti rivela difetti di punteggio

Un articolo arXiv (2607.28685) ha condotto un audit di validità su quattro benchmark relativi alla sicurezza degli agenti: R-Judge, InjecAgent, AgentHarm e AgentDojo. Gli autori sostengono che i punteggi di questi benchmark sono spesso usati in modo intercambiabile per valutare la sicurezza di un agente, anche se valutano comportamenti distinti. Validano i benchmark applicando ciascuno di essi con la sua implementazione ufficiale e utilizzando lo scorer fornito dagli autori su 22 modelli. Inoltre, valutano MMLU e GPQA con un protocollo unificato come composito di capacità. Lo studio evidenzia un problema significativo con le metriche: per qualsiasi benchmark di giudizio binario su tracce valutato con F1, una politica 'sempre positivo' raggiunge F1 = 2π/(1+π). Per R-Judge, questo risulta in 0,690, superando cinque dei 21 modelli che discriminano effettivamente. I tre benchmark a copertura ampia classificano gli stessi 18 modelli in modo diverso, rivelando un artefatto di piccolo campione nel loro trade-off: la specificità di R-Judge correla con la sicurezza di AgentHarm a -0,64 per n=7 e +0,02 per n=18, con un quarto di sottoinsiemi casuali di dimensione 7 che raggiungono |ρ| ≥ 0,5 attorno a quella correlazione quasi nulla. Gli autori concludono che i benchmark esistenti per la sicurezza degli agenti potrebbero non fornire una misura affidabile della sicurezza, esortando a interpretare i loro punteggi con cautela.