TrajRed e TrajGuard: un framework guidato dalla traiettoria per il red teaming dell'IA agentica

Un recente articolo pubblicato su arXiv (2608.04018v1) introduce un approccio guidato dalla traiettoria per il red teaming dei sistemi di IA agentica. I ricercatori sostengono che i rischi associati all'esecuzione degli agenti dovrebbero essere visti come fenomeni che si verificano a livello di traiettoria, piuttosto che concentrarsi esclusivamente su modelli di attacco predeterminati o risultati finali. Presentano TrajRed, un framework di red teaming progettato per identificare vulnerabilità attraverso le traiettorie di esecuzione, insieme a TrajGuard, un livello di governance runtime che utilizza le traiettorie ad alto rischio identificate durante il red teaming. Lo studio sottolinea il ruolo crescente degli agenti di IA nei processi organizzativi, dove interagiscono con fonti di informazione esterne e utilizzano strumenti digitali, rendendoli vulnerabili a informazioni dannose o inaffidabili che potrebbero portare ad azioni indesiderate. Questo framework cerca di migliorare la comprensione della progressione degli attacchi attraverso il ragionamento multi-step e l'utilizzo di strumenti, affrontando una questione vitale nella sicurezza dell'IA.