VICBench: Nuovo Benchmark Multilingue per il Rilevamento di Vulnerabilità nel Codice

VICBench, un nuovo dataset di benchmark, è stato presentato dai ricercatori per valutare gli strumenti di rilevamento delle vulnerabilità di sicurezza. Questo dataset include 100 commit che inducono vulnerabilità (VIC) verificati, collegati a 100 CVE in 88 progetti scritti in Python, Java e C++, comprendendo 48 tipi di CWE. Sviluppato attraverso una combinazione di annotazione umana esperta e un flusso di lavoro agentico, VICBench supera le carenze dei dataset precedenti, che spesso soffrono di una limitata rappresentanza di linguaggi di programmazione, complessità delle patch semplicistica e scarsa diversità dei progetti. Il benchmark mostra correzioni di vulnerabilità del mondo reale intricate, con una media di 38,6 righe, con i corrispondenti VIC che hanno una media di 252,5 righe, significativamente più grandi rispetto ai dataset precedenti. La valutazione degli algoritmi avanzati V-SZZ e LLM4SZZ su VICBench ha prodotto punteggi F1 tra il 33,3% e il 40,1%, evidenziando la continua necessità di un considerevole intervento manuale. Questo benchmark mira a migliorare la valutazione degli strumenti di rilevamento delle vulnerabilità offrendo un dataset più completo e realistico. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.12246.