CoinRAG: Riutilizzo Fine-Grained della Cache KV per un RAG Efficiente su Contesti Lunghi

Un nuovo articolo su arXiv (2608.07458) introduce CoinRAG, un metodo per ottimizzare la generazione aumentata da recupero (RAG) in scenari di contesto lungo. L'approccio affronta le inefficienze del riutilizzo della cache KV a livello di chunk, che soffre di ridondanza informativa e rumore. CoinRAG propone un riutilizzo fine-grained e compositivo di cache di 'nugget' calcolate offline, assemblando metaforicamente piccoli token come monete per costruire una rappresentazione compatta e contestualmente rilevante. Il metodo impiega un recupero a due fasi per identificare unità semantiche rilevanti per la query all'interno dei chunk, con l'obiettivo di migliorare l'accuratezza mantenendo una bassa latenza di prefill. L'articolo è scritto da ricercatori ed è disponibile come annuncio cross-type. Il lavoro mira alla frontiera di Pareto di efficienza e accuratezza nei sistemi RAG, offrendo una soluzione innovativa per gestire contesti recuperati estesi.