MambaCSP: SSM con attenzione ibrida per la previsione efficiente dello stato del canale
I ricercatori propongono MambaCSP, un modello a spazio degli stati (SSM) con attenzione ibrida per la previsione dello stato del canale (CSP) nelle comunicazioni wireless, efficiente dal punto di vista hardware. Il modello sostituisce i backbone basati su transformer e grandi modelli linguistici (LLM), che soffrono di scaling quadratico nella lunghezza delle sequenze, con un modello Mamba a tempo lineare. Per affrontare la limitazione della dipendenza esclusivamente locale dei puri SSM, vengono introdotti strati di attenzione patch-mixer leggeri che iniettano periodicamente attenzioni cross-token. Questo approccio mira a ridurre il costo computazionale, il consumo di memoria e la latenza di inferenza, rendendo la CSP fattibile per implementazioni in tempo reale e con risorse limitate. L'articolo è disponibile su arXiv con riferimento 2604.21957.
Fatti principali
- MambaCSP è un'architettura SSM con attenzione ibrida per la previsione dello stato del canale.
- Sostituisce i backbone di previsione basati su LLM con un modello Mamba a tempo lineare.
- Strati di attenzione patch-mixer leggeri iniettano periodicamente attenzioni cross-token.
- Il modello affronta i problemi di scaling quadratico dei transformer e degli LLM.
- È mirato a implementazioni wireless in tempo reale e con risorse limitate.
- L'articolo è pubblicato su arXiv con ID 2604.21957.
- I modelli a spazio degli stati selettivi sono studiati come alternative efficienti dal punto di vista hardware.
- Il lavoro si concentra sulla cattura delle dipendenze temporali a lungo raggio nelle sequenze CSI.
Entità
Istituzioni
- arXiv