ExploitBench: Benchmark a Scaletta di Capacità per Agenti LLM di Cybersicurezza

ExploitBench è uno strumento innovativo che valuta lo sfruttamento attraverso 16 fattori misurabili, come copertura, crash, capacità sandbox, lettura/scrittura arbitraria, hijacking del flusso di controllo ed esecuzione di codice arbitrario. Ogni caratteristica è verificata da un metodo affidabile che impiega sfide casuali per testare i primitivi e confronta gli output con binari noti, più una prova per l'esecuzione del codice tramite gestione dei segnali. Questo benchmark prende di mira 41 vulnerabilità in V8 a causa della sua popolarità. A differenza degli attuali benchmark di sicurezza per LLM, che considerano un crash come uno sfruttamento riuscito, ExploitBench vede lo sfruttamento più come una serie di passaggi, evolvendo dalla semplice esecuzione di una linea di codice difettosa al pieno controllo del sistema target.