Attacco OEP avvelena agenti LLM auto-evolventi tramite esperienze pulite

I ricercatori hanno identificato una nuova vulnerabilità di sicurezza negli agenti LLM con memoria aumentata che utilizzano riflessione iterativa e auto-evoluzione. L'attacco, chiamato Obsessive Experience Poisoning (OEP), sfrutta la capacità dell'agente di generare e apprendere dalle proprie esperienze. A differenza degli attacchi precedenti che richiedono accesso privilegiato o contenuti esplicitamente dannosi, OEP è un attacco black-box a bassi privilegi che costruisce casi limite avversari puliti. Questi casi limite combinano soluzioni localmente corrette con conseguenze ipotetiche gravi ma plausibili, portando l'agente a generalizzare in modo dannoso durante la riflessione. L'attacco non richiede il controllo diretto del prompt di sistema o del database di memoria, rendendolo furtivo e difficile da rilevare. I risultati sono stati pubblicati su arXiv con l'identificatore 2605.18930.