EmoMind: Decodifica di Didascalie Affettive da Segnali fMRI Cerebrali
Un team di ricercatori ha presentato EmoMind, il primo sistema end-to-end per interpretare didascalie emotive direttamente da dati fMRI. Mentre le tecnologie esistenti di brain-to-text estraggono informazioni semantiche, trascurano le sfumature emotive, e gli attuali modelli linguistici si basano su ampie etichette categoriali per produrre testo emotivo. EmoMind deriva prima una descrizione neutra della scena basata sulla semantica da caratteristiche visive decodificate dal cervello, successivamente arricchendola con un vettore emotivo continuo a 34 dimensioni ottenuto dagli stessi dati fMRI. Il sistema impiega una guida senza classificatore insieme a un ramo nullo che preserva l'identità per garantire un equilibrio tra mantenimento del contenuto ed espressione dell'emozione. Questo metodo innovativo cattura diverse esperienze emotive tra i soggetti, superando le categorie discrete tradizionali. I risultati sono dettagliati in arXiv:2605.16739.
Fatti principali
- 1. EmoMind è la prima pipeline end-to-end per decodificare didascalie affettive da segnali fMRI.
- 2. Gli attuali sistemi brain-to-text recuperano il contenuto semantico ma scartano l'affetto.
- 3. I modelli linguistici generano testo emotivo solo da etichette categoriali che appiattiscono la variabilità tra soggetti.
- 4. EmoMind recupera una descrizione neutra della scena da caratteristiche visive decodificate dal cervello.
- 5. Riscrive la descrizione utilizzando un vettore emotivo continuo a 34 dimensioni dalla stessa registrazione fMRI.
- 6. La guida senza classificatore contro un ramo nullo che preserva l'identità controlla il bilanciamento contenuto-affetto.
- 7. Il sistema consente una interpolazione fluida tra fedeltà semantica ed espressività affettiva.
- 8. La ricerca è pubblicata su arXiv con ID 2605.16739.
Entità
Istituzioni
- arXiv