CORDON-MAS: Una Nuova Difesa Contro l'Avvelenamento della Conoscenza nei RAG
Un nuovo articolo di ricerca presenta CORDON-MAS, un framework progettato per proteggere i sistemi di generazione aumentata da recupero (RAG) dall'avvelenamento della conoscenza di tipo Confundo. Gli autori evidenziano un divario nel monitoraggio e controllo, dove i modelli possono identificare contraddizioni in prove contaminate ma rispondono comunque a informazioni false. Implementando il Principio Cordon, CORDON-MAS divide compiti come estrazione di prove, audit incrociato e sintesi di risposte tra agenti con diversi privilegi di memoria. Nei test su cinque dataset BEIR, ottiene una riduzione del 92,4% del tasso di successo degli attacchi rispetto ai sistemi RAG non protetti. Questo studio sposta la prospettiva sull'avvelenamento dei RAG dal semplice rilevamento dei problemi all'affrontare il controllo architetturale.
Fatti principali
- CORDON-MAS difende dall'avvelenamento di tipo Confundo nei sistemi RAG.
- I modelli mostrano un divario monitoraggio-controllo: rilevano contraddizioni ma agiscono su affermazioni avvelenate.
- Il Principio Cordon stabilisce che nessun agente capace di sintesi finale può accedere a prove in linguaggio naturale non affidabili.
- CORDON-MAS utilizza agenti compartimentati con privilegi di memoria asimmetrici.
- Testato su cinque dataset BEIR.
- Riduce il tasso di successo degli attacchi del 92,4% rispetto ai RAG non difesi.
- Riformula l'avvelenamento dei RAG dal rilevamento al controllo architetturale.
- Articolo pubblicato su arXiv con ID 2605.26754.
Entità
Istituzioni
- arXiv