MemCollusion: Tattiche a Salami per Attacchi Furtivi di Avvelenamento della Memoria su Agenti LLM

Uno studio recente pubblicato su arXiv (2608.01637) presenta MemCollusion, un framework automatizzato progettato per il red-teaming che facilita attacchi collusivi di avvelenamento della memoria mirati agli agenti LLM. Questa ricerca scopre un nuovo tipo di minaccia: a differenza dei tradizionali metodi di avvelenamento della memoria che dipendono da singole voci dannose, MemCollusion sfrutta l'aspetto compositivo della memoria, permettendo a più ricordi apparentemente innocui di innescare collettivamente azioni non sicure. Utilizzando 'tattiche a salami', il framework suddivide un obiettivo avversario in componenti più piccoli e innocui per creare frammenti di memoria che rappresentano un rischio collettivo. Forma coalizioni di memoria attraverso quattro vincoli di progettazione, cinque strategie basate su teorie e un generatore meticolosamente regolato. Questo studio evidenzia le vulnerabilità introdotte dalla memoria a lungo termine negli agenti LLM, che, sebbene benefica per conservare informazioni, consente anche agli avversari di manipolare la memoria persistente per influenzare il comportamento. Inoltre, l'articolo stabilisce un framework realistico cross-sessione per valutare l'avvelenamento collusivo della memoria, sottolineando la sua importanza per la sicurezza e l'incolumità dell'IA esponendo un vettore di attacco occulto che potrebbe minare l'affidabilità degli agenti IA in scenari pratici.