δ-mem: Memoria Online Efficiente per Grandi Modelli Linguistici
Un nuovo sistema di memoria leggero chiamato δ-mem migliora i backbone LLM a piena attenzione congelati integrando uno stato di memoria associativa online compatto. Questo meccanismo condensa i dati storici in una matrice di stato di dimensione fissa, aggiornata tramite apprendimento con regola delta, producendo aggiustamenti a basso rango nei calcoli di attenzione. Utilizzando solo uno stato 8×8, δ-mem raggiunge un punteggio medio di 1,10× rispetto al backbone congelato e 1,15× rispetto al miglior baseline non δ-mem. Nelle valutazioni ad alta intensità di memoria, i miglioramenti raggiungono 1,31× su MemoryAgentBench e 1,20× su LoCoMo. Questo approccio affronta efficacemente le inefficienze e i costi associati all'ampliamento delle finestre di contesto per sistemi di assistenza e agenti a lungo termine.
Fatti principali
- δ-mem è un meccanismo di memoria leggero per LLM.
- Potenzia un backbone a piena attenzione congelato con uno stato di memoria associativa online compatto.
- Le informazioni passate vengono compresse in una matrice di stato di dimensione fissa aggiornata tramite apprendimento con regola delta.
- La lettura genera correzioni a basso rango per il calcolo dell'attenzione durante la generazione.
- Utilizza solo uno stato di memoria online 8×8.
- Migliora il punteggio medio a 1,10× rispetto al backbone congelato.
- Supera del 1,15× il miglior baseline di memoria non δ-mem.
- Raggiunge 1,31× su MemoryAgentBench e 1,20× su LoCoMo.
Entità
Istituzioni
- arXiv