SecureVibeBench: Benchmarking della Sicurezza del Codice AI tramite Vulnerabilità Reali

I ricercatori hanno presentato SecureVibeBench, un benchmark composto da 105 compiti di codifica sicura in C/C++ tratti da 41 progetti all'interno di OSS-Fuzz. Questo benchmark mira a valutare gli agenti di codice che utilizzano modelli linguistici di grandi dimensioni, ricreando situazioni in cui gli sviluppatori umani hanno inavvertitamente introdotto vulnerabilità. Include modifiche autentiche a più file in repository estesi, allineamenti contestuali basati su vulnerabilità open-source reali con punti di introduzione chiaramente definiti e una valutazione approfondita che combina test di funzionalità con valutazioni di sicurezza utilizzando oracoli statici e dinamici. Sono stati testati cinque agenti di codice ampiamente utilizzati. Questa iniziativa colma una lacuna nei benchmark attuali che trascurano scenari di vulnerabilità introdotte dall'uomo, facilitando confronti equi tra sviluppatori umani e agenti AI.