SRE-Bench: Primo Benchmark di Reverse Engineering senza Contaminazione per Agenti AI
È stato introdotto un nuovo benchmark, SRE-Bench, per valutare le capacità di reverse engineering (RE) degli agenti AI su software binario. Il benchmark affronta una lacuna critica: mentre gli agenti AI eccellono nell'analisi del codice sorgente, gran parte del software di conseguenza (malware, firmware, app proprietarie) è disponibile solo come binario, richiedendo RE per recuperare la semantica del programma. I benchmark esistenti non riescono a prevenire la contaminazione (istanze viste nei dati di addestramento LLM) e mancano di scala reale e protezioni anti-analisi. SRE-Bench, costruito da zero da esperti RE con oltre 5.000 ore di lavoro, è il primo benchmark RE realistico e senza contaminazione. Garantisce che le istanze non siano viste come codice sorgente nei dati di addestramento LLM, forzando un'analisi genuina piuttosto che il riconoscimento. Il benchmark corrisponde alla scala e alle protezioni anti-analisi del software reale, fornendo un test rigoroso per la cybersicurezza agentica. L'articolo è disponibile su arXiv (2608.11469).
Fatti principali
- SRE-Bench è il primo benchmark di reverse engineering realistico e senza contaminazione per agenti AI.
- È stato costruito interamente da zero da esperti RE con oltre 5.000 ore di lavoro.
- Il benchmark affronta la sfida di valutare il RE agentico su binari, comuni in malware, firmware e software proprietario.
- I benchmark esistenti non soddisfano congiuntamente i requisiti di essere invisibili nei dati di addestramento LLM e di corrispondere alla scala/protezioni del software reale.
- SRE-Bench impedisce ai modelli di prendere scorciatoie riconoscendo il codice sorgente dai dati di addestramento.
- Il benchmark è progettato per testare la capacità degli agenti AI di recuperare la semantica del programma dai binari.
- L'articolo è annunciato su arXiv con ID 2608.11469.
- Il lavoro è rilevante per la cybersicurezza, dove il reverse engineering è fondamentale per analizzare software dannoso.
Entità
Istituzioni
- arXiv