Pipeline di decodifica EEG-testo basata su RAG supera la linea di base casuale

Un team di ricercatori ha introdotto un framework di generazione aumentata da recupero (RAG) volto a tradurre i segnali EEG in testo a livello di frase. Questo approccio innovativo integra un codificatore EEG che si allinea con gli embedding semantici, una fase di recupero vettoriale e un grande modello linguistico (LLM) per migliorare gli output generati. I test condotti sul dataset ZuCo, che presenta registrazioni EEG a singola prova effettuate durante la lettura silenziosa, dimostrano che il sistema cattura con successo informazioni linguistiche superiori ai livelli di base casuali, segnando un progresso significativo poiché lo fa senza teacher forcing durante l'inferenza. Questa ricerca affronta la sfida del basso rapporto segnale-rumore negli studi di interfaccia cervello-computer.