GroundedCache: Routing basato su prove per un riutilizzo sicuro delle risposte nei sistemi RAG
Una recente pubblicazione su arXiv presenta GroundedCache, un router di cache progettato per sistemi di retrieval-augmented generation (RAG) convalidato da prove. Gli autori sottolineano che il problema principale delle cache semantiche a livello di output è la sicurezza, non la velocità. Notano che prompt simili possono portare a risposte corrette diverse, le prove possono cambiare con l'evoluzione del corpus e attacchi avversari possono manipolare le risposte memorizzate. GroundedCache consente una risposta in cache solo quando sono soddisfatti quattro gate poco costosi: somiglianza della query, sovrapposizione delle prove recuperate, validità della versione della fonte e coerenza lessicale (o basata su giudice). Questo sistema mira a minimizzare i costi dei token e il time-to-first-token (TTFT) mantenendo l'accuratezza. L'articolo è disponibile su arXiv con ID 2605.27494.
Fatti principali
- GroundedCache è un router di cache convalidato da prove per sistemi RAG.
- Affronta problemi di sicurezza nelle cache semantiche a livello di output.
- Quattro gate devono essere soddisfatti: somiglianza della query, sovrapposizione delle prove recuperate, validità della versione della fonte e coerenza lessicale.
- L'articolo sostiene che il riutilizzo sicuro è più importante del riutilizzo veloce.
- Attacchi di collisione avversaria possono dirottare le risposte in cache.
- Le prove recuperate cambiano con l'aggiornamento del corpus.
- Il sistema mira a ridurre il costo dei token e il TTFT.
- Articolo disponibile su arXiv con ID 2605.27494.
Entità
Istituzioni
- arXiv