STM3: Modello Mamba Multiscala per la Previsione Spazio-Temporale a Lungo Termine
È stato introdotto un nuovo framework di deep learning denominato Spatio-Temporal Mixture of Multiscale Mamba (STM3) per la previsione di serie temporali spazio-temporali a lungo termine. Questo modello affronta due questioni significative: l'estrazione di dati multiscala da sequenze estese e la modellazione delle correlazioni tra informazioni temporali multiscala attraverso vari nodi. STM3 impiega una struttura Mamba Multiscala all'interno di un sistema Disentangled Mixture-of-Experts (DMoE) per raccogliere efficacemente diverse intuizioni multiscala. Inoltre, presenta una rete causale grafica adattiva per rappresentare relazioni spaziali complesse. Per migliorare l'apprendimento della rappresentazione, il modello utilizza una strategia di routing stabile insieme all'apprendimento contrastivo causale, mirando a superare le carenze delle attuali tecniche di deep learning nella gestione delle dipendenze spazio-temporali a lungo termine. I risultati sono disponibili su arXiv con identificatore 2508.12247.
Fatti principali
- STM3 sta per Spatio-Temporal Mixture of Multiscale Mamba
- Il modello utilizza un'architettura Mamba Multiscala all'interno di un framework Disentangled Mixture-of-Experts (DMoE)
- La rete causale grafica adattiva modella le dipendenze spaziali
- La strategia di routing stabile e l'apprendimento contrastivo causale garantiscono una rappresentazione robusta
- Affronta le sfide dell'apprendimento delle dipendenze spazio-temporali a lungo termine
- Pubblicato su arXiv con identificatore 2508.12247
- Si concentra sulla previsione di serie temporali spazio-temporali a lungo termine
- I metodi di deep learning esistenti hanno difficoltà con dipendenze complesse a lungo termine
Entità
Istituzioni
- arXiv