Il preaddestramento linguistico consente il trasferimento cross-modale per la previsione di serie temporali
Uno studio recente pubblicato su arXiv (2605.20449) rivela che i transformer addestrati sul linguaggio possono essere adattati per la previsione di serie temporali senza la necessità di supervisione accoppiata. Applicando sonde lineari a stati fissi di LLM, i ricercatori possono decodificare efficacemente pattern realistici di serie temporali, con il recupero nello spazio proiettato che porta a previsioni competitive. L'utilizzo di modelli preaddestrati produce gradienti coerenti e un paesaggio di perdita distintamente anisotropo, in contrasto con l'inizializzazione casuale. Il fine-tuning funge da allineamento a bassa dimensionalità, sfruttando direzioni esistenti invece di sviluppare primitive temporali da zero, come dimostrato da aggiornamenti a basso rango, allineamento di sottospazi e caratteristiche condivise relative a periodicità, tendenze e ripetizione.
Fatti principali
- L'articolo arXiv 2605.20449 mostra il trasferimento cross-modale da LLM a serie temporali.
- Sonde lineari su stati congelati di LLM decodificano traiettorie di serie temporali senza supervisione accoppiata.
- Il recupero nello spazio proiettato produce previsioni competitive.
- L'inizializzazione preaddestrata produce gradienti coerenti e un paesaggio di perdita anisotropo.
- Il fine-tuning agisce come allineamento a bassa dimensionalità, riutilizzando direzioni esistenti.
- Le evidenze includono aggiornamenti a basso rango, allineamento di sottospazi e caratteristiche condivise per periodicità, tendenza e ripetizione.
Entità
Istituzioni
- arXiv