SIR-Bench: Nuovo Benchmark Valuta gli Agenti di Risposta agli Incidenti di Sicurezza IA

SIR-Bench ha introdotto un benchmark completo che comprende 794 casi di test progettati per valutare le prestazioni degli agenti autonomi di risposta agli incidenti di sicurezza. Questo strumento distingue le indagini forensi reali dai semplici allarmi ripetitivi. Si basa su 129 pattern di incidenti anonimizzati, confermati da esperti, e valuta non solo l'accuratezza delle scelte di triage degli agenti, ma anche la loro capacità di scoprire nuove prove attraverso indagini attive. I ricercatori hanno sviluppato Once Upon A Threat (OUAT) per creare SIR-Bench, che simula pattern di incidenti reali in ambienti cloud gestiti, producendo telemetria autentica con risultati di indagine misurabili. La valutazione utilizza tre metriche collegate: accuratezza del triage (M1), scoperta di nuovi risultati (M2) e uso appropriato degli strumenti (M3), con un LLM avversariale come Giudice che garantisce standard di prova rigorosi per la convalida delle indagini.