L'auto-pre-addestramento mostra benefici limitati per i transformer su serie temporali mediche

Un nuovo preprint su arXiv (2608.06122) esamina come l'auto-pre-addestramento (SPT) influenzi i modelli transformer nelle applicazioni mediche su serie temporali, nonostante i suoi comprovati benefici nella gestione di contesti lunghi. Lo studio valuta i design dei transformer in tre contesti medici significativi: robotica riabilitativa utilizzando il dataset Camargo, rilevamento dello stress senza EEG e identificazione della malattia di Parkinson attraverso l'analisi del cammino. I ricercatori hanno sviluppato modelli da zero o applicato SPT, sperimentando quattro tecniche di mascheramento per migliorare l'apprendimento nel tempo e tra diverse modalità. I risultati indicano che SPT non aumenta costantemente l'accuratezza diagnostica in questi dataset, in particolare con dati sparsi, suggerendo che i benefici osservati nei compiti a contesto lungo potrebbero non tradursi nelle serie temporali mediche, evidenziando la necessità di strategie di pre-addestramento specifiche. Questa ricerca è scritta da un gruppo di ricercatori ed è in attesa di revisione paritaria su arXiv.