Le attivazioni prefill degli LLM rivelano vulnerabilità del codice, aggirando i controlli post-hoc
Un recente studio pubblicato su arXiv (2608.16970) esplora se i grandi modelli linguistici (LLM) rivelano informazioni sulle vulnerabilità del codice durante la fase di prefill. Lo studio evidenzia una lacuna nelle difese esistenti che dipendono dall'analisi post-generazione. I ricercatori propongono che gli LLM possano codificare segnali di vulnerabilità nelle attivazioni nascoste mentre elaborano codice C/C++. Hanno valutato questa ipotesi estraendo le attivazioni dei token prefill da quattro modelli: Granite-4.1-8B, Qwen3.5-9B, Qwen3.6-27B e Gemma-4-12B, utilizzando sonde MLP leggere. Queste sonde hanno ottenuto un punteggio F1 medio del 41,7% su quattro benchmark, con la migliore sonda su Devign che ha raggiunto il 68,8%. I risultati indicano la possibilità di sviluppare sistemi di rilevamento precoce, mettendo in discussione la convinzione che il rilevamento delle vulnerabilità debba avvenire dopo la generazione del codice.
Fatti principali
- Lo studio utilizza le attivazioni latenti degli LLM per rilevare vulnerabilità del codice.
- Si concentra sulla fase di prefill, prima che qualsiasi codice venga generato.
- Sono stati testati quattro modelli: Granite-4.1-8B, Qwen3.5-9B, Qwen3.6-27B e Gemma-4-12B.
- Le sonde MLP sono state addestrate sulle attivazioni dell'ultimo token prefill.
- Le sonde utilizzano tra 13,4 e 16,0 milioni di parametri, meno dello 0,2% della dimensione del modello di base.
- Valutate su quattro benchmark C/C++: Devign, Big-Vul, Draper VDISC, PrimeVul.
- Il punteggio F1 medio su tutti i modelli e benchmark è del 41,7%.
- La migliore sonda (Qwen3.5-9B) raggiunge un F1 del 68,8% su Devign, eguagliando lo stato dell'arte.
- Le difese attuali sono post-hoc: analizzatori statici, classificatori o giudici LLM.
- L'articolo suggerisce che i segnali di vulnerabilità siano codificati nelle attivazioni nascoste.
Entità
—