Paradigma di Addestramento ORBIT per Modelli Fondazionali di Serie Temporali

È stato introdotto un nuovo metodo di addestramento chiamato ORBIT (Omni-Range Bootstrap Incremental Training) per migliorare il modo in cui addestriamo i modelli fondazionali di serie temporali (TSFM), un'area che non ha ricevuto molta attenzione. Questo framework aiuta a chiarire e controllare la distribuzione utilizzata durante il pre-addestramento, affrontando problemi come lo squilibrio di dominio, i requisiti di contesto, le tempistiche di previsione e le lacune nei dati. ORBIT combina il Bootstrap Multi-Level Sampling per gestire l'esposizione ai dataset con l'Omni-Range Incremental Training, che regola le lunghezze del contesto e le tempistiche di previsione in una singola sessione di addestramento. I ricercatori hanno applicato questo metodo per addestrare Falcon-2.0, un semplice trasformatore univariato solo-encoder che utilizza tecniche innovative per gestire i dati mancanti. Puoi trovare lo studio su arXiv con l'identificatore 2608.13262.