HarnessRisk: Nuovo Benchmark del Ciclo di Vita per la Sicurezza degli Agenti AI

Un preprint intitolato "HarnessRisk" è stato pubblicato su arXiv (2608.17597), introducendo un benchmark incentrato sul ciclo di vita per la sicurezza degli harness degli agenti. Questo benchmark valuta gli harness degli agenti basati su modelli linguistici di grandi dimensioni attraverso sei distinte fasi operative: configurazione dell'harness, estensione delle capacità, funzionamento durante l'esecuzione, persistenza dello stato, controllo delle azioni e recupero da incidenti. Include 128 scenari sandbox, ciascuno dei quali combina un obiettivo utente benigno con una direttiva avversaria all'interno di un artefatto di flusso di lavoro non affidabile. Le valutazioni si basano su utilità, tasso di successo degli attacchi, persistenza e rilevamento. Il framework testa tre harness, sei modelli linguistici e 14 configurazioni, identificando guasti di sicurezza in strumenti, estensioni, gestione dello stato, permessi e azioni esterne, colmando così le lacune degli attuali benchmark di sicurezza che spesso si concentrano su singoli tipi di attacco o contesti operativi limitati.