HEPA: Trasformatore Auto-Supervisionato per la Previsione di Eventi Rari in Serie Temporali
Un nuovo framework di apprendimento automatico chiamato HEPA (Horizon-conditioned Event Predictive Architecture) è stato sviluppato per prevedere eventi critici ma rari in serie temporali multivariate, tra cui malfunzionamenti di turbine, aritmie cardiache, inquinamento dell'acqua, minacce informatiche e regimi di volatilità. Per affrontare la sfida dei dati etichettati limitati, il modello utilizza una metodologia auto-supervisionata: un codificatore Transformer causale viene pre-addestrato utilizzando una Joint-Embedding Predictive Architecture (JEPA), dove un predittore condizionato all'orizzonte viene addestrato per anticipare rappresentazioni future anziché valori futuri diretti. Questo approccio costringe il codificatore ad apprendere schemi temporali prevedibili da dati non etichettati. Dopo il pre-addestramento, il codificatore rimane statico mentre il predittore viene ottimizzato per l'evento target, producendo una funzione di distribuzione cumulativa di sopravvivenza monotona (CDF) su vari orizzonti. HEPA mantiene architettura e iperparametri dell'ottimizzatore coerenti su dieci tipi di eventi ed è documentato su arXiv con l'identificatore 2605.11130.
Fatti principali
- 1. HEPA sta per Horizon-conditioned Event Predictive Architecture.
- 2. Utilizza un codificatore Transformer causale pre-addestrato tramite Joint-Embedding Predictive Architecture (JEPA).
- 3. Il predittore impara a prevedere rappresentazioni future, non valori futuri.
- 4. Dopo il pre-addestramento, il codificatore viene congelato e solo il predittore viene ottimizzato.
- 5. Il modello produce una funzione di distribuzione cumulativa di sopravvivenza monotona (CDF) su orizzonti.
- 6. Gestisce dieci tipi di eventi tra cui contaminazione dell'acqua, rilevamento di attacchi informatici e regimi di volatilità.
- 7. Architettura e iperparametri dell'ottimizzatore fissi sono utilizzati su tutti i benchmark.
- 8. L'articolo è disponibile su arXiv con ID 2605.11130.
Entità
Istituzioni
- arXiv