Il Fuzzing Semantico Rivela Violazioni delle Specifiche nelle Skill degli Agenti LLM
Un nuovo articolo di ricerca presenta Sefz, un framework di fuzzing semantico volto a identificare violazioni delle specifiche nelle skill basate su LLM. Queste violazioni si verificano quando una richiesta utente innocente induce una skill a violare i propri protocolli di sicurezza in linguaggio naturale, potenzialmente causando azioni come l'eliminazione di documenti, l'esposizione di credenziali o trasferimenti di fondi non autorizzati. Gli autori sostengono che queste violazioni rimangono non rilevate da analizzatori statici, fuzzer tradizionali e difese contro l'iniezione di prompt, minando così la fiducia degli utenti. Sefz converte ogni protocollo di sicurezza in un obiettivo di raggiungibilità basato su una traccia di esecuzione annotata, semplificando il processo di rilevamento delle violazioni. Questo articolo è disponibile su arXiv con l'identificatore 2605.13044.
Fatti principali
- Gli agenti basati su LLM possono eseguire azioni dannose su richieste utente di routine a causa di violazioni delle specifiche.
- Le violazioni delle specifiche si verificano quando una skill viola le proprie barriere di sicurezza in linguaggio naturale.
- Queste violazioni sono invisibili agli analizzatori statici, ai fuzzer tradizionali e alle difese contro l'iniezione di prompt.
- Sefz è un framework di fuzzing semantico orientato agli obiettivi per scoprire violazioni delle specifiche.
- Sefz traduce le barriere di sicurezza in obiettivi di raggiungibilità su tracce di esecuzione annotate.
- L'articolo è pubblicato su arXiv con l'identificatore 2605.13044.
- Esempi di violazioni includono l'eliminazione di documenti, la fuga di credenziali e trasferimenti di fondi.
- La ricerca si concentra sulle skill degli agenti basati su LLM.
Entità
Istituzioni
- arXiv