Confronto delle barriere di sicurezza per agenti AI: DKnownAI Guard guida in termini di richiamo
Un nuovo rapporto su arXiv confronta DKnownAI Guard con AWS Bedrock Guardrails, Azure Content Safety e Lakera Guard nel rilevamento dei rischi di sicurezza per agenti AI. Utilizzando l'annotazione umana come verità di base, la valutazione misura il rilevamento di minacce come l'override delle istruzioni, l'iniezione indiretta e l'abuso di strumenti, nonché richieste di contenuti dannosi come incitamento all'odio, pornografia e violenza. DKnownAI Guard ha raggiunto il tasso di richiamo più alto, pari al 96,5%, e il miglior tasso di veri negativi, pari al 90,4%, superando tutti i concorrenti.
Fatti principali
- DKnownAI Guard ha raggiunto un tasso di richiamo del 96,5%.
- DKnownAI Guard si è classificato primo per tasso di veri negativi con il 90,4%.
- Confrontato con AWS Bedrock Guardrails, Azure Content Safety e Lakera Guard.
- La valutazione ha utilizzato l'annotazione umana come verità di base.
- Minacce rilevate per l'agente: override delle istruzioni, iniezione indiretta, abuso di strumenti.
- Richieste di contenuti dannosi rilevate: incitamento all'odio, pornografia, violenza.
- Rapporto pubblicato su arXiv.
- Titolo: A Comparative Evaluation of AI Agent Security Guardrails.
Entità
Istituzioni
- arXiv
- DKnownAI
- AWS
- Azure
- Lakera