LiveHouse-TS introduce un benchmark vivente open-world per i modelli foundation di serie temporali
I modelli foundation di serie temporali (TSFM) stanno guadagnando popolarità come metodo valido per la previsione zero-shot cross-domain. Tuttavia, le valutazioni attuali dipendono da benchmark statici che utilizzano finestre temporali storiche fisse, le quali forniscono solo metriche di prestazione medie e trascurano le dinamiche degli scenari reali caratterizzati da variazioni stagionali, cambiamenti di distribuzione ed eventi imprevisti. Per affrontare questa limitazione, LiveHouse-TS è stato introdotto come il primo sistema di benchmark vivente open-world per i TSFM. A differenza dei benchmark statici, valuta i modelli in modo prequenziale utilizzando dati futuri reali in contesti open-world, trasformando così la valutazione delle serie temporali da una semplice accuratezza istantanea a una rilevanza temporale continua. Questa infrastruttura continua, piuttosto che una classifica una tantum, è descritta in una pubblicazione arXiv con ID 2608.17299.
Fatti principali
- I benchmark TSFM esistenti utilizzano finestre temporali storiche statiche.
- LiveHouse-TS è il primo benchmark vivente open-world per i modelli foundation di serie temporali.
- Valuta i modelli in modo prequenziale su dati futuri reali.
- Sposta il benchmarking dalla accuratezza istantanea alla validità temporale continua.
- Tiene conto delle variazioni stagionali, dei cambiamenti di distribuzione e degli eventi imprevisti.
- È progettato come infrastruttura continua, non come una classifica una tantum.
- L'articolo è disponibile su arXiv con ID 2608.17299.
- I TSFM sono utilizzati per la previsione zero-shot cross-domain.
Entità
—