Il framework MAGE protegge gli agenti LLM dalle minacce a lungo termine

Un nuovo framework difensivo chiamato MAGE (Memory As Guardrail Enforcement) è stato sviluppato dai ricercatori per proteggere gli agenti basati su modelli linguistici di grandi dimensioni (LLM) dalle minacce a lungo termine. Queste minacce sfruttano interazioni prolungate tra utenti, agenti e ambienti per raggiungere obiettivi maliziosi che sono improbabili in situazioni a singolo turno, mettendo così a rischio le implementazioni critiche. Traendo ispirazione dal concetto di 'shadow stack' nella sicurezza dei sistemi, MAGE presenta una memoria agentica specializzata che cattura e preserva il contesto di sicurezza essenziale lungo l'intero percorso di esecuzione dell'agente. Questa memoria ombra valuta i rischi delle azioni imminenti prima che vengano eseguite. Test approfonditi indicano che MAGE supera significativamente le difese attuali in vari scenari di attacco, affrontando una gamma emergente di minacce man mano che gli agenti LLM vengono sempre più utilizzati per applicazioni complesse del mondo reale.