Dynamic TMoE: Framework Consapevole della Deriva per la Previsione di Serie Temporali Non Stazionarie
Un nuovo framework chiamato Dynamic TMoE è stato introdotto dai ricercatori per la previsione di serie temporali non stazionarie, mirando specificamente ai cambiamenti di distribuzione. Questo modello impiega la Massima Discrepanza Media (MMD) per identificare tali cambiamenti, consentendo la creazione dinamica di esperti diversificati eliminando quelli non necessari. Inoltre, un router di memoria temporale utilizza stati ricorrenti insieme a un repository di anomalie per garantire la selezione di esperti stabili e sensibili al contesto, senza richiedere aggiornamenti durante il test. I risultati degli esperimenti su nove benchmark dimostrano prestazioni all'avanguardia, con una riduzione del 10,4% dell'errore quadratico medio (MSE).
Fatti principali
- Dynamic TMoE è un framework mixture-of-experts consapevole della deriva.
- Rileva i cambiamenti di distribuzione tramite la Massima Discrepanza Media (MMD).
- Gli esperti vengono istanziati e potati dinamicamente per ottimizzare la capacità.
- Un router di memoria temporale utilizza stati ricorrenti e un repository di anomalie.
- Non sono richiesti aggiornamenti durante il test per la selezione degli esperti.
- Esperimenti su nove benchmark mostrano prestazioni all'avanguardia.
- L'MSE è ridotto del 10,4%.
- Il framework unifica l'evoluzione architetturale con la continuità temporale.
Entità
—