Partial Evidence Bench: Benchmarking delle Prove con Autorizzazione Limitata nei Sistemi Agentici
Il Partial Evidence Bench, un nuovo benchmark deterministico, valuta la modalità di fallimento in cui gli agenti aziendali generano risposte apparentemente complete ma prive di prove cruciali a causa di limitazioni nel controllo degli accessi. Questo benchmark comprende 72 attività suddivise in tre categorie di scenari: due diligence, audit di conformità e risposta a incidenti di sicurezza. Include dataset partizionati per ACL, risposte complete oracle, risposte con vista autorizzata oracle, valutazioni di completezza oracle e oracoli strutturati per la segnalazione delle lacune. I sistemi vengono giudicati in base all'accuratezza della risposta, alla consapevolezza della completezza, alla qualità dei report sulle lacune e al comportamento di completezza non sicuro. Le valutazioni di base rivelano che il filtraggio silenzioso rappresenta un rischio significativo per la sicurezza.
Fatti principali
- Partial Evidence Bench è un benchmark deterministico per prove con autorizzazione limitata nei sistemi agentici.
- Affronta la modalità di fallimento in cui il controllo degli accessi è applicato correttamente ma le risposte appaiono complete nonostante la mancanza di prove.
- Il benchmark include 72 attività in tre famiglie di scenari: due diligence, audit di conformità e risposta a incidenti di sicurezza.
- Utilizza corpora partizionati per ACL e fornisce risposte oracle per viste complete e autorizzate.
- La valutazione copre quattro aspetti: correttezza della risposta, consapevolezza della completezza, qualità del report sulle lacune e comportamento di completezza non sicuro.
- I baselines verificati mostrano che il filtraggio silenzioso è catastroficamente non sicuro.
- Il benchmark include giudizi di completezza oracle e oracoli strutturati per la segnalazione delle lacune.
- L'articolo è disponibile su arXiv con riferimento 2605.05379.
Entità
Istituzioni
- arXiv