MeMo: Framework di Memoria Modulare per LLM
Un nuovo framework modulare chiamato MeMo (Memory as a Model) è stato sviluppato dai ricercatori, consentendo ai grandi modelli linguistici (LLM) di assimilare nuove informazioni senza la necessità di riaddestramento. Questo sistema codifica i nuovi dati in un modello di memoria specializzato, mantenendo invariati i parametri originali dell'LLM. MeMo cattura efficacemente relazioni complesse tra documenti, è resistente al rumore di recupero, previene l'oblio catastrofico e non richiede l'accesso ai pesi o ai logit dell'LLM, rendendolo compatibile sia con LLM open-source che proprietari. Il suo costo di recupero rimane invariato rispetto alla dimensione del corpus durante l'inferenza. Il framework ha mostrato risultati solidi su tre dataset di riferimento ed è descritto in un articolo disponibile su arXiv con l'identificatore 2605.15156.
Fatti principali
- MeMo sta per Memory as a Model
- È un framework modulare per LLM
- Codifica nuove conoscenze in un modello di memoria dedicato
- Mantiene invariati i parametri dell'LLM
- Cattura relazioni complesse tra documenti
- Robusto al rumore di recupero
- Evita l'oblio catastrofico
- Non richiede accesso ai pesi o ai logit dell'LLM
- Costo di recupero indipendente dalla dimensione del corpus durante l'inferenza
- Testato su tre dataset di riferimento
- Articolo disponibile su arXiv: 2605.15156
Entità
Istituzioni
- arXiv