MoRAE: Un Nuovo Spazio Latente Flow-Friendly per la Generazione Testo-Movimento
Un nuovo articolo di ricerca, MoRAE, propone un metodo per migliorare la generazione testo-movimento creando uno spazio latente flow-friendly da rappresentazioni auto-supervisionate. L'articolo, disponibile su arXiv (2607.29180), affronta il fallimento dell'uso diretto di Motion-JEPA come encoder congelato per modelli generativi. Gli autori diagnosticano due colli di bottiglia geometrici: lo spazio delle caratteristiche JEPA è spettralmente mal condizionato, causando un trasporto instabile da gaussiana a dati, e i residui di flusso si allineano con direzioni sensibili al decoder, amplificando piccoli errori latenti. MoRAE mira a superare questi problemi, consentendo una generazione di movimenti semanticamente più corretta, temporalmente coerente e fisicamente plausibile. Il lavoro è rilevante per i campi dell'IA e della visione artificiale, in particolare nell'animazione e nella robotica.
Fatti principali
- L'articolo intitolato 'MoRAE: Flow-Friendly Self-Supervised Latents for Text-to-Motion Generation' è disponibile su arXiv.
- L'ID arXiv è 2607.29180.
- L'articolo affronta la generazione testo-movimento, concentrandosi sulla correttezza semantica, la coerenza temporale e la plausibilità fisica.
- Propone l'uso di autoencoder di rappresentazione (RAE) con un encoder auto-supervisionato congelato.
- Il trasferimento diretto utilizzando Motion-JEPA come encoder congelato fallisce.
- Sono stati identificati due colli di bottiglia: il mal condizionamento spettrale dello spazio delle caratteristiche JEPA e l'allineamento dei residui di flusso con direzioni sensibili al decoder.
- MoRAE mira a creare uno spazio latente flow-friendly per migliorare la generazione.
- L'articolo è classificato come un annuncio incrociato su arXiv.
Entità
Istituzioni
- arXiv