AgenticCache: Pianificazione basata su cache per agenti AI incarnati
Un recente articolo su arXiv presenta un nuovo framework di pianificazione chiamato AgenticCache, progettato per migliorare l'efficienza e ridurre i costi per gli agenti AI incarnati che utilizzano grandi modelli linguistici (LLM). Questo framework sfrutta la località dei piani nei compiti incarnati, dove i piani futuri possono essere anticipati sulla base di quelli correnti. Invece di invocare un LLM a ogni passo, AgenticCache mantiene una cache runtime delle transizioni di piano comuni e verifica le voci attraverso un aggiornatore di cache in background. Nei test su quattro benchmark multi-agente incarnati con 12 configurazioni (4 benchmark × 3 modelli), AgenticCache raggiunge un aumento medio del tasso di successo del 22%, una riduzione del 65% della latenza di simulazione e una riduzione del 50% dell'uso di token. L'articolo è accessibile su arXiv, con il codice corrispondente disponibile su GitHub.
Fatti principali
- AgenticCache è un framework di pianificazione basato su cache per agenti AI incarnati.
- Riduce le chiamate LLM per passo riutilizzando piani memorizzati nella cache.
- I compiti incarnati mostrano una forte località dei piani.
- Un aggiornatore di cache in background convalida asincronamente le voci nella cache.
- Testato su quattro benchmark multi-agente incarnati con tre modelli.
- Migliora il tasso di successo del compito in media del 22%.
- Riduce la latenza di simulazione del 65%.
- Abbassa l'uso di token del 50%.
Entità
Istituzioni
- arXiv