MemRouter: Gestione della Memoria Basata su Embedding per Agenti Conversazionali a Lungo Termine

Un nuovo sistema chiamato MemRouter disaccoppia l'ammissione della memoria dalla generazione autoregressiva LLM per agenti conversazionali a lungo termine. Utilizza una politica di routing basata su embedding per decidere quali turni di conversazione memorizzare in memoria esterna, sostituendo la decodifica di gestione della memoria per turno. MemRouter codifica ogni turno con il contesto recente, proietta gli embedding attraverso un backbone LLM congelato e prevede l'archiviazione utilizzando classificatori leggeri, addestrando solo 12 milioni di parametri. In un confronto controllato sul benchmark LoCoMo, con pipeline di recupero identica, prompt di risposta e backbone QA (Qwen2.5-7B), MemRouter ha superato un gestore di memoria basato su LLM in ogni categoria di domande, raggiungendo un punteggio F1 complessivo di 52,0 contro 45,6, con intervalli di confidenza al 95% non sovrapposti. Ha anche ridotto la latenza p50 della gestione della memoria.