BrainBench: Nuovo Benchmark per la Comprensione Completa dell'EEG nei LLM

I ricercatori hanno introdotto BrainBench, un benchmark unificato progettato per valutare i modelli linguistici di grandi dimensioni (LLM) sulla comprensione completa dell'EEG. Il benchmark affronta il divario nelle valutazioni attuali, che tipicamente si concentrano su compiti di decodifica isolati o dimostrazioni specifiche del sistema. BrainBench comprende quattro sottoinsiemi: Analisi Fondamentale, Valutazione del Sonno, Valutazione Neurocognitiva e Integrazione Fisiologica. Copre 17 set di dati, 45 compiti e oltre 100.000 istanze di dati reali. Il benchmark richiede ai sistemi di eseguire analisi basate su istruzioni in linguaggio naturale e registrazioni EEG, opzionalmente con segnali fisiologici, e produrre interpretazioni scientifiche. Questa iniziativa mira a quantificare la competenza dei LLM nel gestire flussi di lavoro EEG complessi che combinano l'adesione alle istruzioni, l'elaborazione del segnale e il ragionamento scientifico. L'articolo è disponibile su arXiv con l'identificatore 2608.04156.