ChainCaps: Prevenire il Riciclaggio di Permessi nella Composizione di Strumenti AI

Un nuovo meccanismo di sicurezza chiamato ChainCaps è stato sviluppato dai ricercatori per migliorare la sicurezza runtime degli agenti AI che utilizzano strumenti, affrontando efficacemente il problema del 'riciclaggio di permessi'. Ciò si verifica quando un agente soddisfa i singoli criteri di autorizzazione ma combina gli strumenti in modo da portare a risultati pericolosi, come l'accesso non autorizzato a informazioni sensibili. ChainCaps opera su un budget di capacità monotono, dove ogni valore ha un budget specifico legato al suo sink, e le combinazioni di strumenti riducono solo l'autorità. Questo sistema funziona come un proxy MCP trasparente, senza richiedere modifiche ai server agent o strumenti esistenti. ChainCaps ha dimostrato una diminuzione dei tassi di successo degli attacchi quando testato su 82 attività attraverso cinque modelli leader di tre diversi fornitori. L'articolo di ricerca è disponibile su arXiv.