AgentKVShift: Riutilizzo della Cache KV Senza Addestramento per Sistemi di Memoria Agentici

La tecnica AgentKVShift, recentemente introdotta, affronta i significativi costi di inferenza associati agli agenti LLM con memoria aumentata riutilizzando gli stati della cache Key-Value (KV). Questi agenti utilizzano unità di memoria strutturate arricchite con metadati generati dall'LLM, come riepiloghi e tag, per mantenere il contesto attraverso numerose interazioni. Ogni recupero richiede una completa ri-codifica di queste unità in stati KV, aumentando notevolmente la latenza di prefill. Le attuali strategie di riutilizzo della cache KV senza addestramento, pensate per passaggi grezzi in stile RAG, funzionano male con memorie agentiche strutturate. AgentKVShift presenta una correzione residua KV guidata da probe che funziona per ogni unità di memoria recuperata. Rivela che i residui del riutilizzo KV per memoria possono essere scomposti in un offset condiviso a livello di memoria e piccole variazioni token-specifiche. Stimando questo offset da un piccolo insieme di probe, è possibile correggere tutti gli stati KV riutilizzati, riducendo così le richieste computazionali senza necessità di riaddestramento. Questo metodo è descritto in un articolo disponibile su arXiv (2607.21604).