Firewall di Memoria che Preserva la Provenienza per Agenti LLM
Uno studio recente pubblicato su arXiv (2607.29167) presenta una soluzione di sicurezza per agenti di grandi modelli linguistici (LLM) dotati di memoria persistente. La ricerca evidenzia una vulnerabilità di sicurezza denominata 'riciclaggio della provenienza della memoria', in cui input esterni non affidabili possono essere alterati durante il processo di consolidamento della memoria per imitare la cronologia dell'utente o l'assistenza al flusso di lavoro, mantenendo così i trigger di azione mentre si elimina l'origine a bassa fiducia. Per affrontare questo problema, gli autori introducono il Firewall di Memoria che Preserva la Provenienza (PPMF), un middleware leggero che garantisce la provenienza mantenuta dalla piattaforma e valida l'uso degli strumenti correlando il rischio dell'azione con l'autorità delle memorie pertinenti. La loro valutazione, utilizzando un metodo basato su schema con politiche di rischio stabilite, rivela che le memorie consolidate vulnerabili possono raggiungere livelli di rischio significativi. Questo documento funge da annuncio di tipo incrociato su arXiv, suggerendo che potrebbe essere stato presentato a una conferenza o pubblicato su una rivista.
Fatti principali
- Il documento arXiv:2607.29167 identifica il riciclaggio della provenienza della memoria negli agenti LLM.
- Il riciclaggio della provenienza della memoria riscrive osservazioni non attendibili come cronologia utente o supporto al flusso di lavoro.
- I filtri di prompt esistenti, i sanificatori di contenuti e le protezioni degli strumenti non applicano la non-amplificazione dell'autorità della fonte.
- Soluzione proposta: Firewall di Memoria che Preserva la Provenienza (PPMF).
- PPMF preserva la provenienza mantenuta dalla piattaforma e autorizza le chiamate agli strumenti in base al rischio dell'azione.
- La valutazione utilizza un approccio basato su schema con politiche di rischio fisse.
- Le memorie consolidate vulnerabili raggiungono un certo livello di rischio (numero esatto non fornito).
- Il tipo di annuncio è 'cross' su arXiv.
Entità
Istituzioni
- arXiv