MemSecBench: Benchmarking della Sicurezza della Memoria degli Agenti lungo l'Intero Ciclo di Vita
Un team di ricercatori ha lanciato MemSecBench, uno strumento innovativo volto a valutare la sicurezza dei sistemi di memoria utilizzati dagli agenti. Questo benchmark colma un vuoto cruciale nel monitoraggio di semantiche dannose, che vanno dalla persistenza agli effetti successivi e alle correzioni mirate. Comprende 310 scenari diversi che coprono 48 ambienti pratici, tra cui programmazione, ricerca scientifica, attività quotidiane e lavorative. Ogni scenario segue un rigoroso protocollo Write-Execute-Forget all'interno di un runtime designato, utilizzando una configurazione che include un agent harness, un backend di memoria e un modello linguistico di grandi dimensioni. Ulteriori informazioni sono disponibili nella relativa pubblicazione arXiv, numero 2607.27080.
Fatti principali
- MemSecBench è un benchmark basato su compiti per la sicurezza del ciclo di vita dei sistemi di memoria degli agenti.
- Contiene 310 casi provenienti da 48 contesti realistici tra codice, scienza, vita quotidiana e lavoro d'ufficio.
- Ogni caso segue un protocollo Write-Execute-Forget in un runtime isolato.
- La configurazione dell'agente include un agent harness, un backend di memoria e un backend LLM.
- La valutazione basata su prove combina valutazione deterministica e basata su LLM.
- Il benchmark traccia semantiche dannose dalla persistenza alle conseguenze e alla riparazione.
- Numero arXiv: 2607.27080.
Entità
Istituzioni
- arXiv