Gelina: Sintesi Unificata di Discorso e Gesti tramite Predizione di Token Intervallati

Un team di ricercatori ha presentato Gelina, un framework completo che genera simultaneamente discorso e gesti di accompagnamento a partire da testo, utilizzando sequenze di token intervallati all'interno di un'architettura autoregressiva discreta con decodificatori specifici per modalità. A differenza degli approcci tradizionali che producono discorso e gesti uno dopo l'altro, Gelina garantisce l'allineamento sia nella sincronia che nella prosodia. Il sistema è in grado di clonare più parlanti e stili e consente la sintesi di soli gesti derivati da input vocali. I risultati della valutazione indicano che Gelina raggiunge una qualità vocale competitiva e migliora la generazione di gesti rispetto alle baseline unimodali. Questa ricerca è stata pubblicata su arXiv (2510.12834v4) e segna un progresso verso interazioni uomo-computer più intuitive.