Niyam-AI: Sicurezza AI Dimostrabile tramite Prove a Conoscenza Zero

Il framework di nuova introduzione, Niyam-AI, mira a garantire la sicurezza degli agenti AI attraverso la verifica crittografica. All'inizio di ogni sessione, assicura gli strumenti consentiti e i vincoli all'interno di un Contratto di Intent, che viene impegnato utilizzando SHA-256. Un modello Giudice isolato intercetta e autentica ogni chiamata di strumento, generando una prova zk-SNARK tramite EZKL dopo una validazione riuscita. Lo strumento viene eseguito solo dopo che questa prova è stata verificata, consentendo a parti esterne di validare l'applicazione senza bisogno di accedere ai pesi del modello Giudice. Questo framework affronta problemi come l'iniezione di prompt, il ragionamento allucinato e l'uso non sicuro degli strumenti, vulnerabilità chiave per gli agenti LLM autonomi. Niyam-AI è stato testato su 2.000 scenari reali provenienti da una fonte non divulgata. Il relativo articolo è disponibile su arXiv con identificatore 2608.07167.