FM-LLM: Framework MoE potenziato in frequenza per la previsione di serie temporali basata su LLM

Un nuovo studio è stato pubblicato su arXiv (ID: 2608.11623) che introduce FM-LLM, un framework innovativo che migliora i modelli linguistici di grandi dimensioni (LLM) per la previsione di dati di serie temporali utilizzando un metodo mixture-of-experts basato sulla frequenza. Questo approccio affronta i limiti delle tecniche cross-modali esistenti che si basano su prompt testuali per l'allineamento delle modalità, che possono essere computazionalmente pesanti e perdere le caratteristiche spettrali uniche delle informazioni delle serie temporali. FM-LLM consente un adattamento senza prompt dei LLM statici attraverso un accoppiamento asimmetrico. Utilizza una rete di analisi di Fourier (FAN) per allineare i token spettrali, integrando rappresentazioni armoniche nel LLM. Il decoder asimmetrico Mixture-of-Experts (MoE) consente la specializzazione dei ruoli, con alcuni esperti che ricostruiscono pattern periodici mentre altri catturano i residui. Puoi consultarlo su https://arxiv.org/abs/2608.11623.