L'addestramento parallelo nel tempo potenzia le reti neurali ricorrenti per sistemi dinamici

Un nuovo preprint su arXiv (2605.12683) esplora algoritmi di addestramento parallelo nel tempo per reti neurali ricorrenti (RNN) utilizzate nella ricostruzione di sistemi dinamici (DSR). La classica retropropagazione attraverso il tempo ha complessità temporale lineare O(T), limitando la lunghezza delle sequenze. L'articolo esamina due classi di algoritmi che sfruttano scansioni associative parallele per ottenere una complessità temporale logaritmica O(log T). La prima classe include modelli con dinamiche lineari non autonome e readout non lineari, come i moderni State Space Models (SSM). La seconda classe comprende modelli non lineari generali parallelizzati tramite il framework DEER. Questo progresso consente di elaborare sequenze molto più lunghe, aprendo nuove strade per la DSR nella scienza e nell'ingegneria.