Flash PD-SSM: Modelli a Spazio di Stato Sparsi Strutturati Ottimizzati per la Memoria

Viene proposto un nuovo modello a spazio di stato (SSM) chiamato Flash PD-SSM per affrontare il compromesso tra efficienza ed espressività. Le matrici di transizione non strutturate offrono la massima espressività ma sono computazionalmente costose, mentre le matrici strutturate sono efficienti ma limitate. Flash PD-SSM utilizza un insieme addestrabile di matrici sparse strutturate, con una selezionata discretamente per passo temporale, raggiungendo un'espressività FSA paragonabile a quella delle matrici non strutturate, mantenendo l'efficienza. Il modello si basa su lavori recenti sugli SSM sparsi strutturati e offre un throughput comparabile agli SSM strutturati ampiamente utilizzati, con migliori garanzie di espressività.