ARC: Compattazione della Memoria Indirizzabile per la Gestione del Contesto nei LLM
Il framework Addressable Recall Compaction (ARC) distingue tra archiviazione permanente e presentazione del contesto attivo negli agenti LLM. Mantiene le osservazioni degli strumenti in un registro append-only e indirizzabile tramite ID, sostituendo le osservazioni più vecchie con citazioni concise. L'agente può recuperare le informazioni memorizzate utilizzando identificatori, eliminando la necessità di rieseguire gli strumenti o di dipendere esclusivamente dal recupero basato sulla similarità. Testato su Qwen3-8B (contesto 16k) e Qwen3-32B (contesto 32k), ARC ha dimostrato prestazioni impressionanti nella valutazione Needle-in-a-Haystack.
Fatti principali
- 1. ARC è un framework di gestione del contesto per agenti LLM a lungo orizzonte.
- 2. Separa l'archiviazione permanente dalla presentazione del contesto attivo.
- 3. Le osservazioni degli strumenti sono memorizzate in un registro append-only e indirizzabile tramite ID.
- 4. Le osservazioni più vecchie vengono sostituite con citazioni compatte quando è necessaria la compattazione.
- 5. L'agente può richiedere contenuti memorizzati utilizzando identificatori senza rieseguire gli strumenti.
- 6. Valutato su Qwen3-8B con finestra di contesto 16k e Qwen3-32B con finestra di contesto 32k.
- 7. La valutazione utilizza il benchmark Needle-in-a-Haystack.
- 8. ARC affronta i limiti dello scarto, del riepilogo o del recupero di informazioni precedenti.
Entità
—