ST-PT: un framework che trasforma il Transformer in un grafo fattoriale programmabile per serie temporali
Il framework Probabilistic Transformer (PT) reinterpreta il meccanismo di self-attention e il blocco feed-forward del Transformer come inferenza variazionale mean-field su un campo casuale condizionale, trasformando il modello in un grafo fattoriale programmabile con topologia, potenziali e schedule di message-passing espliciti. Originariamente progettato per il linguaggio naturale, PT viene ora esteso alle serie temporali tramite lo Spatial-Temporal Probabilistic Transformer (ST-PT), che aggiunge un asse di canale e migliora la semantica per passo. Il rapporto identifica tre proprietà di PT/ST-PT come modello a grafo fattoriale e pone tre corrispondenti domande di ricerca per esplorarne il potenziale. Il lavoro è pubblicato su arXiv con ID 2604.26762.
Fatti principali
- Il Probabilistic Transformer (PT) equipara il self-attention più il blocco feed-forward all'inferenza variazionale mean-field su un campo casuale condizionale.
- PT trasforma il Transformer da rete neurale a scatola nera a grafo fattoriale programmabile.
- Topologia del grafo, potenziali dei fattori e schedule di message-passing sono espliciti e ispezionabili.
- PT è stato originariamente sviluppato per l'elaborazione del linguaggio naturale.
- ST-PT estende PT alle serie temporali aggiungendo un asse di canale e migliorando la semantica per passo.
- ST-PT funge da backbone condiviso fondamentale per la modellazione di serie temporali.
- Sono identificate tre proprietà distinte di PT/ST-PT come modello a grafo fattoriale.
- Vengono derivate tre domande di ricerca, una per proprietà, per sondare il potenziale di ciascuna proprietà.
Entità
Istituzioni
- arXiv