CacheScout: Gestione della KV-Cache Basata sull'Apprendimento per il Servizio LLM Multi-Agente

Un recente articolo di ricerca presenta CacheScout, un livello runtime volto a migliorare la gestione della KV-cache nei framework di servizio LLM multi-agente. Questo studio, pubblicato su arXiv (2608.14624), affronta le carenze dei sistemi attuali che gestiscono la KV-cache in modo reattivo, basandosi sulla cache dei prefissi e sull'eliminazione basata sulla recency. Nei processi LLM multi-agente, le richieste degli utenti vengono suddivise in una serie di agenti specializzati, ciascuno dei quali esegue un contesto coerente (inclusi prompt di sistema, definizioni di strumenti ed esempi few-shot), il che apre opportunità per il riutilizzo della KV-cache. Tuttavia, i sistemi esistenti spesso rimuovono prematuramente contesti riutilizzabili, causando ricalcoli non necessari. La scoperta principale di CacheScout è che il potenziale di riutilizzo futuro della cache è determinato dalla semantica dell'esecuzione degli agenti, non solo dalla recency della cache. Impara queste transizioni di esecuzione in tempo reale, eliminando la necessità di grafi di flusso di lavoro predefiniti o di addestramento offline.