I modelli foundation EEG non superano le caratteristiche classiche nel benchmark clinico
Un nuovo preprint su arXiv (2607.24519) valuta cinque modelli foundation EEG rispetto ai metodi tradizionali basati su caratteristiche, utilizzando diversi benchmark clinici, incluso il dataset coreano CAUEEG. I risultati indicano che le caratteristiche tradizionali superano tutti i modelli foundation nella classificazione di normale, deterioramento cognitivo lieve e demenza, raggiungendo un macro-AUROC di 0,734 con una sensibilità di 0,736. In confronto, BIOT-bipolar16 ha ottenuto un punteggio di 0,677, CBraMod 0,669 e REVE 0,568. Il sottoinsieme senza sovrapposizioni ha mantenuto lo stesso ordine (0,717 contro 0,565). È interessante notare che tutti e cinque gli encoder hanno ottenuto un punteggio di decodifica dell'identità del dataset pari a 1,000, sia prima che dopo l'applicazione di PCA-50 all'interno delle pieghe, mostrando una dipendenza dall'appartenenza al dataset piuttosto che da effetti causali. La ricerca evidenzia l'importanza dei protocolli di controllo negativi per la valutazione dei modelli EEG clinici.
Fatti principali
- Cinque modelli foundation EEG sono stati valutati su cinque compiti in quattro dataset benchmark più il CAUEEG coreano.
- Le caratteristiche classiche hanno raggiunto un macro-AUROC di 0,734 sulla classificazione CAUEEG appaiata, superando tutti i modelli foundation.
- BIOT-bipolar16 ha ottenuto 0,677, CBraMod 0,669 e REVE 0,568 sullo stesso compito.
- Il sottoinsieme annotato senza sovrapposizioni ha mostrato caratteristiche classiche a 0,717 contro REVE a 0,565.
- Tutti e cinque gli encoder hanno decodificato l'identità del dataset a 1,000 prima e dopo PCA-50 all'interno delle pieghe.
- Le permutazioni delle etichette sono crollate al caso, ma i sottocampioni bilanciati sono rimasti a 1,000.
- Lo studio stabilisce che l'appartenenza al dataset, non un sito causale, la geografia o l'effetto della popolazione, è il fattore determinante.
- Un encoder completamente inizializzato casualmente è stato incluso come controllo.
Entità
Istituzioni
- arXiv
Luoghi
- Korea