mGRADE: Un Modello a Memoria Ibrida per la Modellazione Efficiente di Sequenze su Scale Temporali Multiple
Una nuova architettura leggera per la modellazione di sequenze, mGRADE (Architettura Ricorrente Minimamente Gated con Delay Embedding), è stata proposta per affrontare la sfida di catturare sia le dinamiche veloci locali che il contesto lento globale sotto i rigidi vincoli di memoria tipici dei dispositivi edge. I modelli allo stato dell'arte con footprint di memoria costante faticano a bilanciare la selettività a lungo raggio e la modellazione ad alta precisione delle dinamiche veloci. mGRADE integra una convoluzione con spaziature temporali apprendibili—teoricamente equivalente a un delay embedding—con un componente ricorrente gated leggero. Questo sistema di memoria ibrida introduce bias induttivi attraverso le scale temporali, consentendo una ricostruzione efficiente in termini di parametri delle dinamiche veloci parzialmente osservate, mantenendo selettivamente il contesto a lungo raggio. Il lavoro è dettagliato in un articolo su arXiv (2507.01829v2).
Fatti principali
- mGRADE sta per Architettura Ricorrente Minimamente Gated con Delay Embedding.
- È progettato per la modellazione di sequenze su scale temporali multiple su dispositivi edge.
- Il modello utilizza una convoluzione con spaziature temporali apprendibili.
- Le spaziature apprendibili sono equivalenti a un delay embedding.
- Combina la convoluzione con un componente ricorrente gated leggero.
- L'approccio affronta il compromesso tra selettività a lungo raggio e modellazione delle dinamiche veloci.
- L'articolo è disponibile su arXiv con ID 2507.01829v2.
- Il modello è pensato per scenari con footprint di memoria costante.
Entità
Istituzioni
- arXiv