Motif-Mamba: Migliorare Mamba con Percorsi Ricorrenti Vincolati da Motivi

Un nuovo articolo di ricerca su arXiv (2608.00027) introduce Motif-Mamba, un modello a spazio di stato strutturato progettato per migliorare la modellazione di sequenze a lungo raggio. Il modello affronta la scalabilità quadratica dell'auto-attenzione nei grandi modelli linguistici potenziando la ricorrenza selettiva a spazio di stato lineare di Mamba con un percorso ricorrente a basso rango vincolato da motivi. Questo percorso, ispirato a motivi di rete a tre nodi, proietta gli stati nascosti in un sottospazio dinamico compatto, applica interazioni guidate da motivi e mappa le dinamiche di nuovo allo spazio di stato originale, migliorando la comunicazione tra dimensioni e preservando la complessità temporale lineare. Gli esperimenti su estrapolazione di sequenze lunghe, benchmark di modellazione linguistica e decodifica di interfacce cervello-computer mostrano miglioramenti consistenti rispetto al Mamba di base. L'articolo è scritto da ricercatori (nomi non forniti nell'abstract) ed è stato annunciato come nuova sottomissione su arXiv.