ToolGuardian: Framework di Sicurezza Dichiarativa per le Interazioni tra Agenti AI e Strumenti
Uno studio recente presenta ToolGuardian, un framework guidato da policy per migliorare la sicurezza delle interazioni tra agenti LLM e strumenti esterni. Poiché gli agenti dipendono sempre più da strumenti di terze parti, emerge una nuova sfida di sicurezza: gli strumenti possono sembrare innocui all'interfaccia ma nascondere comportamenti pericolosi nella loro implementazione. Le difese attuali sono insufficienti, basandosi su metadati deboli o combinando caratterizzazione e decisioni politiche in un'unica scelta, mentre l'applicazione euristica/LLM manca di un ragionamento affidabile e verificabile riguardo al contesto del compito e alle interazioni multi-strumento. ToolGuardian mitiga questi problemi attraverso una verifica pre-ammissione e un'autorizzazione runtime consapevole del compito. Impiega una caratterizzazione progressiva per trasformare le prove in fatti strutturati. L'innovazione principale è un metodo basato su Answer Set Programming (ASP) per l'applicazione di policy dichiarative. Il documento completo è disponibile su arXiv con l'identificatore 2607.21835.
Fatti principali
- 1. ToolGuardian è un framework guidato da policy per proteggere le interazioni agente-strumento.
- 2. Utilizza verifica pre-ammissione e autorizzazione runtime consapevole del compito.
- 3. La caratterizzazione progressiva converte le prove in fatti strutturati.
- 4. Le descrizioni catturano l'intento dichiarato degli strumenti.
- 5. Le tracce delle chiamate di sistema espongono il comportamento grossolano.
- 6. L'esecuzione simulata rivela gli effetti osservati.
- 7. L'analisi del codice sorgente identifica il comportamento latente.
- 8. Il contributo principale è un approccio basato su Answer Set Programming (ASP).
Entità
Istituzioni
- arXiv