L'avvelenamento della memoria si maschera da fallimento del modello negli agenti AI

Uno studio recente pubblicato su arXiv (2605.22842) scopre una significativa vulnerabilità di sicurezza nei sistemi multi-agente AI, denominata Gap di Attribuzione Errata. I ricercatori introducono il concetto di Deriva della Norma Semantica (SND), che descrive come i documenti politici archiviati in repository vettoriali condivisi perdano la loro fonte originale a causa di una Catena di Riciclaggio della Fiducia, venendo successivamente percepiti come contesto affidabile dal sistema. Questa errata attribuzione porta a comportamenti degli agenti che imitano il disallineamento del modello, spingendo i difensori a identificare erroneamente il problema. Su 64 fallimenti osservati, i sistemi di attribuzione hanno ripetutamente indicato il modello come fonte. In particolare, quattro classificatori di sicurezza, incluso uno focalizzato sull'avvelenamento della memoria, non hanno rilevato alcun problema su 510 checkpoint. In 59 casi validi su 65, gli agenti hanno citato il documento iniettato come fonte normativa prima di seguirlo. I risultati sfidano la convinzione che la cattiva condotta degli agenti derivi esclusivamente dal disallineamento del modello, evidenziando una debolezza fondamentale nella sicurezza del livello di memoria.