Mamba con Memoria Gerarchica: Superare il Collo di Bottiglia della Rappresentazione nella Modellazione di Sequenze Lunghe

Un nuovo articolo di ricerca su arXiv (2608.02347) introduce Hierarchical Memory Mamba (HMM), un metodo progettato per affrontare il collo di bottiglia della rappresentazione nei modelli ricorrenti lineari di attenzione (RLA) come Mamba. L'articolo, annunciato come nuova sottomissione, propone di integrare una memoria di lavoro leggera in un backbone Mamba pre-addestrato per estrarre la semantica lenta a livello di paragrafo (PLS) dalla memoria sensoriale veloce negli stati nascosti. Queste PLS vengono poi compresse in memoria a lungo termine persistente per il recupero rilevante al compito. Questa elaborazione gerarchica delle informazioni semantiche mira a superare la limitazione degli stati ricorrenti a capacità fissa degli RLA, consentendo la generalizzazione tra compiti attraverso l'apprendimento parametrico—una capacità non osservata in altre varianti Mamba potenziate per contesti lunghi. Gli autori traggono ispirazione dalla memoria umana gerarchica. Le valutazioni su compiti come Passkey Retrieval e LongBench-E dimostrano l'efficacia di HMM, sebbene i risultati specifici non siano dettagliati nell'abstract. L'articolo è disponibile su https://arxiv.org/abs/2608.02347.