Nuovo Modello di Framework: Memoria LLM come Matrice di Markov per l'Espansione della Conoscenza

Un nuovo articolo di ricerca propone un framework che modella la generazione autoregressiva del linguaggio nei grandi modelli linguistici come un processo di Markov sui token, con la memoria del modello rappresentata da una matrice di transizione di Markov. Questo approccio mira a affrontare l'oblio catastrofico durante l'incorporazione continua della conoscenza estendendo lo spazio degli stati per nuove conoscenze, preservando al contempo le transizioni esistenti per mantenere le informazioni apprese in precedenza. L'articolo sostiene che aggiornamenti su larga scala dei pesi potrebbero non essere necessari per acquisire piccole quantità di nuova conoscenza, offrendo un'alternativa più efficiente in termini di campioni rispetto agli algoritmi di aggiornamento dei parametri. Il lavoro è pubblicato su arXiv con identificatore 2605.04308.