Perdita di Istruzioni di Sistema nei LLM tramite Attacchi di Codifica: Quadro di Valutazione

Un articolo arXiv (2604.01039v4) presenta un quadro di valutazione automatizzata progettato per valutare la riservatezza delle istruzioni di sistema nei Large Language Models (LLM) quando le richieste di estrazione vengono riformulate come compiti di output strutturato o di codifica. Le istruzioni di sistema svolgono un ruolo cruciale nell'implementazione dei protocolli di sicurezza, nel modellare il comportamento degli agenti e nella salvaguardia di contesti operativi sensibili nelle applicazioni di intelligenza artificiale, spesso contenendo dati critici come chiavi API, linee guida interne e definizioni di flussi di lavoro riservati. L'articolo identifica la perdita di istruzioni di sistema come una minaccia significativa per la sicurezza, come evidenziato nell'OWASP Top 10 per le applicazioni LLM. Il quadro testa sette modelli prevalenti e 46 istruzioni di sistema validate per valutare la loro suscettibilità agli attacchi di estrazione basati su codifica, con l'obiettivo di migliorare le strategie di sicurezza dei LLM.