ATBench estende la valutazione della sicurezza delle traiettorie a OpenClaw e Codex
ATBench, un benchmark per la valutazione e la diagnosi della sicurezza a livello di traiettoria nei sistemi agente, è stato esteso con due versioni personalizzate per dominio: ATBench-Claw e ATBench-Codex. Queste estensioni adattano il benchmark rispettivamente agli ambienti OpenClaw e OpenAI Codex/Codex-runtime. Il meccanismo di adattamento prevede l'analisi di ogni nuovo ambiente di esecuzione, la personalizzazione di una Tassonomia di Sicurezza tridimensionale che copre fonte di rischio, modalità di fallimento e danno reale, e l'uso di tale tassonomia per definire le specifiche del benchmark per la pipeline di costruzione condivisa di ATBench. Questa estensibilità è cruciale poiché i framework agente rimangono architetturalmente stabili mentre i loro ambienti concreti, ecosistemi di strumenti e capacità di prodotto si evolvono rapidamente. Il lavoro è dettagliato nell'articolo arXiv 2604.14858.
Fatti principali
- ATBench è un benchmark per la valutazione e la diagnosi della sicurezza a livello di traiettoria nei sistemi agente.
- ATBench-Claw estende ATBench all'ambiente OpenClaw.
- ATBench-Codex estende ATBench all'ambiente OpenAI Codex/Codex-runtime.
- L'adattamento utilizza una Tassonomia di Sicurezza tridimensionale: fonte di rischio, modalità di fallimento, danno reale.
- Le specifiche del benchmark sono consumate da una pipeline di costruzione condivisa di ATBench.
- I framework agente rimangono architetturalmente stabili mentre gli ambienti di esecuzione si evolvono.
- L'articolo è disponibile su arXiv con ID 2604.14858.
- Le estensioni sono personalizzate per dominio per diversi ambienti di esecuzione.
Entità
Istituzioni
- OpenAI
- arXiv