Il framework PromptAudit rivela la sensibilità del prompt nel rilevamento delle vulnerabilità degli LLM

Un nuovo studio introduce PromptAudit, un framework di valutazione controllato progettato per isolare gli effetti delle strategie di prompting sui modelli linguistici di grandi dimensioni (LLM) utilizzati per il rilevamento delle vulnerabilità. Fissando dataset, decodifica e parsing, il framework varia solo la strategia di prompting. I ricercatori hanno testato cinque strategie di prompting su cinque modelli open-weight su 1.000 CVE, comprendenti 6.074 campioni di codice in 16 linguaggi di programmazione. Le metriche valutate includono accuratezza, richiamo, astensione, copertura e F1 effettivo. I risultati mostrano che il prompting standard a catena di pensiero raggiunge le migliori prestazioni operative complessive. Il prompting few-shot offre benefici dipendenti dal modello, in particolare per i modelli sensibili al prompt. La catena di pensiero adattiva sopprime frequentemente il richiamo, mentre l'autoconsistenza induce un'astensione eccessiva, riducendo drasticamente le prestazioni effettive. Lo studio sottolinea che l'affidabilità del rilevamento delle vulnerabilità è altamente sensibile alla formulazione del prompt.