Dipendenza Parziale tra Canali tramite Maschere di Canale nei Transformer per Serie Temporali

Un nuovo approccio introduce la dipendenza parziale tra canali (PCD) per la modellazione di serie temporali multivariate nei Transformer. Il metodo utilizza maschere di canale (CM) integrate nelle matrici di attenzione tramite moltiplicazione elemento per elemento. Le CM consistono in una matrice di similarità che cattura le relazioni, consentendo un raffinamento specifico del dataset della dipendenza tra canali. Ciò affronta il limite dei metodi basati sull'attenzione precedenti che trascuravano le caratteristiche specifiche del dataset. Il lavoro è pubblicato su arXiv (2410.23222v3) e si concentra sul miglioramento della cattura della dipendenza tra canali nei modelli foundation per serie temporali.