Rivelatori di Vulnerabilità Basati su LLM Facilmente Elusi da Modifiche che Preservano la Sintassi

Uno studio recente indica che i rilevatori di vulnerabilità basati su LLM, sempre più utilizzati nei controlli di sicurezza CI/CD, sono vulnerabili all'elusione tramite modifiche al codice che preservano sintassi e compilazione. I ricercatori hanno esaminato cinque diversi tipi di attacco attraverso quattro famiglie di trasformazioni che preservano il comportamento, utilizzando un benchmark C/C++ completo composto da 5.000 campioni. Hanno proposto una metrica chiamata Resistenza Completa (CR) per quantificare la percentuale di vulnerabilità identificate con precisione che resistono a tutti i tipi di attacco. I risultati rivelano una notevole disparità di robustezza: modelli con un richiamo pulito superiore al 70% mostrano un CR basso fino allo 0,12%, suggerendo che oltre l'87% delle vulnerabilità identificate può essere aggirato con almeno un'alterazione che preserva la sintassi. Stringhe avversarie universali ottimizzate su un surrogate 14B si trasferiscono efficacemente ad API black-box, incluso GPT-4o, e l'ottimizzazione mirata migliora ulteriormente l'elusione, raggiungendo un tasso di successo dell'attacco fino al 92,5%. Questi risultati sottolineano che affidarsi esclusivamente all'accuratezza del benchmark pulito è inadeguato per valutare la robustezza nel mondo reale.