CMP Architecture Riduce l'Oblio Catastrofico nell'Apprendimento Continuo

Un recente articolo pubblicato su arXiv presenta un nuovo framework di apprendimento continuo noto come CMP (Cognitive Memory Primitive). Questa architettura codifica gli input come codici relazionali sparsi e utilizza un sistema di memoria competitiva a due livelli, consentendo l'apprendimento attraverso aggiornamenti localizzati senza la necessità di retropropagazione end-to-end all'interno del suo framework di generazione delle caratteristiche. CMP è progettato per mitigare il problema dell'oblio catastrofico, comune nei metodi di apprendimento continuo basati sulla retropropagazione tradizionale. In un compito controllato di modellazione del linguaggio a livello di byte con incremento di dominio, CMP ha mostrato un trasferimento all'indietro significativamente ridotto rispetto a un Transformer con parametri equivalenti che utilizzava Elastic Weight Consolidation (EWC) online. In un esperimento replicato con 15 domini e tre semi, CMP ha mantenuto pattern di oblio stabili, superando costantemente i baselines Transformer in valutazioni testa a testa e di ordine dei domini. L'articolo è disponibile su arXiv con ID 2607.26523.