EEGAlign: Allineamento Congiunto Testo-Audio per la Decodifica EEG-Cinese
I ricercatori hanno introdotto EEGAlign, un framework efficiente in termini di parametri che allinea congiuntamente i segnali elettroencefalografici (EEG) con la semantica del testo e le caratteristiche acustiche audio per decodificare il parlato cinese. L'approccio affronta le sfide nella comunicazione neurale non invasiva per individui con gravi disturbi del linguaggio e motori. A differenza dei metodi esistenti che si basano su un singolo asse di supervisione, EEGAlign combina la discriminabilità a livello di frase e la risoluzione temporale fine per gestire lo spazio di output ad alta dimensionalità di migliaia di caratteri cinesi, la variabilità tra soggetti e il basso rapporto segnale-rumore. Il framework è progettato sia per la produzione che per la percezione del parlato a partire dall'EEG scalpo, offrendo un'alternativa più sicura e più facilmente implementabile rispetto all'elettrocorticografia invasiva. Lo studio è dettagliato in un preprint su arXiv (2607.25626).
Fatti principali
- EEGAlign allinea congiuntamente l'EEG con la semantica del testo e le caratteristiche acustiche audio.
- Decodifica il parlato cinese dall'EEG scalpo per la comunicazione neurale non invasiva.
- Affronta le sfide dello spazio di output ad alta dimensionalità, della variabilità tra soggetti e del basso SNR.
- I metodi esistenti utilizzano un singolo asse di supervisione, insufficiente per la decodifica del cinese con ampio vocabolario.
- Il framework è efficiente in termini di parametri.
- Si rivolge a individui con gravi disturbi del linguaggio e motori.
- L'EEG scalpo è più sicuro e più ampiamente implementabile rispetto all'elettrocorticografia invasiva.
- Preprint disponibile su arXiv (2607.25626).
Entità
Istituzioni
- arXiv