Modulo di Memoria N-Gram Senza Addestramento Migliora il Recupero della Conoscenza nei LLM
I ricercatori hanno sviluppato un nuovo approccio chiamato N-gram Memory (NGM) progettato per i grandi modelli linguistici, che opera senza la necessità di addestramento supplementare. Questo framework innovativo presenta un Causal N-Gram Encoder, che genera rappresentazioni N-gram calcolando la media degli embedding dei token preesistenti, eliminando la necessità di embedding aggiuntivi o sistemi di recupero. Inoltre, incorpora un Cosine-Gated Memory Injector che utilizza un gate coseno non parametrico insieme a ReLU per facilitare l'iniezione della memoria. Questo metodo separa efficacemente l'archiviazione della conoscenza dall'elaborazione, migliorando l'efficienza rispetto ai tradizionali modelli Mixture of Experts e agli embedding di memoria appresi, e può essere facilmente integrato con i modelli esistenti.
Fatti principali
- NGM è un modulo di memoria plug-and-play per LLM
- Non richiede addestramento aggiuntivo
- Consiste in Causal N-Gram Encoder e Cosine-Gated Memory Injector
- L'encoder calcola la media degli embedding dei token preaddestrati per formare rappresentazioni N-gram
- Non è necessaria una tabella di memoria separata o una pipeline di recupero
- Il gate coseno con ReLU è non parametrico
- Disaccoppia l'archiviazione della conoscenza dal calcolo neurale
- Più efficiente di MoE e degli embedding di memoria appresi
Entità
—