WeSCE: Benchmarking della Deriva di Sicurezza nell'Editing del Codice Guidato da LLM

Un nuovo benchmark chiamato WeSCE è stato sviluppato dai ricercatori per valutare la deriva di sicurezza nelle modifiche al codice effettuate da modelli linguistici di grandi dimensioni (LLM) che operano in condizioni di sicurezza debole, dove vengono delineati solo obiettivi funzionali senza criteri di sicurezza specifici. Questo benchmark include 400 programmi eseguibili provenienti da codice reale, concentrandosi su attività come aggiunta di funzionalità, rimozione di funzionalità, correzione di bug e refactoring. Per valutare la deriva di sicurezza, i ricercatori suggeriscono una rappresentazione continua del rischio che integra vari segnali di vulnerabilità in un unico quadro. Stabiliscono metriche di deriva che riflettono i cambiamenti nel rischio complessivo, nella gravità estrema e nella distribuzione delle vulnerabilità in mezzo alle alterazioni del codice, offrendo approfondimenti sulla sicurezza da scenari medi a quelli peggiori. Questa iniziativa mira ad affrontare il crescente problema delle potenziali vulnerabilità di sicurezza introdotte dall'editing del codice assistito da LLM. Sviluppatori e ricercatori possono utilizzare questo benchmark per valutare e ridurre tali rischi. L'articolo è disponibile su arXiv nella sezione Informatica > Crittografia e Sicurezza.