Testa di Memoria Parametrica per il Recupero Generativo Continuo
Un nuovo articolo su arXiv (2604.23388) introduce il post-adaptation memory tuning (PAMT) per affrontare il problema del catastrophic forgetting nel recupero informativo generativo (GenIR). Il GenIR utilizza un singolo modello neurale per decodificare identificatori di documenti a partire da query, ma ha difficoltà con collezioni dinamiche. Il fine-tuning standard degrada le prestazioni sui dati precedenti. Il PAMT congela il backbone e attacca una testa di memoria a chiave prodotto, migliorando il bilancio stabilità-plasticità.
Fatti principali
- Articolo arXiv 2604.23388
- Propone il post-adaptation memory tuning (PAMT)
- Affronta il catastrophic forgetting nel GenIR
- Utilizza una testa di memoria parametrica (PMH)
- Congela il modello backbone
- Attacca una memoria a chiave prodotto
- Migliora il compromesso stabilità-plasticità
- Si concentra sul recupero generativo continuo
Entità
Istituzioni
- arXiv