PhyMotion: Ricompensa di Movimento 3D Basata sulla Fisica per la Generazione di Video Umani
I ricercatori hanno introdotto PhyMotion, un sistema di ricompensa del movimento 3D sistematico che ancora le traiettorie umane recuperate in un simulatore fisico per valutare il realismo del movimento nella produzione video. Le attuali ricompense video dipendono da segnali percettivi 2D e non rappresentano accuratamente gli stati corporei 3D, i contatti e la dinamica, spesso assegnando punteggi elevati a movimenti fisicamente irrealistici. PhyMotion recupera le mesh del corpo SMPL dai video generati, le adatta a un modello umanoide nel simulatore fisico MuJoCo e misura la qualità del movimento in vari aspetti della plausibilità fisica. Questo sviluppo affronta un ostacolo significativo nella fase di post-addestramento dell'apprendimento per rinforzo per la generazione di movimento umano.
Fatti principali
- PhyMotion è una ricompensa di movimento 3D strutturata per la generazione di video umani.
- Ancora le traiettorie 3D umane recuperate in un simulatore fisico.
- Le attuali ricompense video si basano su segnali percettivi 2D senza modellare lo stato corporeo 3D.
- Le ricompense attuali spesso assegnano punteggi elevati a movimenti fisicamente implausibili.
- PhyMotion recupera le mesh del corpo SMPL dai video generati.
- Le mesh vengono riadattate su un umanoide nel simulatore fisico MuJoCo.
- La ricompensa valuta la qualità del movimento lungo molteplici dimensioni di fattibilità fisica.
- Il lavoro affronta un collo di bottiglia nel post-addestramento basato su RL per il movimento umano.
Entità
Istituzioni
- arXiv