PhyCo: Framework di Generazione Video Controllato dalla Fisica
I ricercatori hanno introdotto PhyCo, un framework che integra priorità fisiche nella generazione video, affrontando la mancanza di coerenza fisica negli attuali modelli di diffusione. PhyCo utilizza un dataset di oltre 100.000 video di simulazione fotorealistici con attrito, restituzione, deformazione e forza variati. Affina un modello di diffusione pre-addestrato tramite ControlNet condizionato su mappe di proprietà fisiche allineate ai pixel e impiega l'ottimizzazione della ricompensa guidata da VLM per il feedback. Questo approccio consente la generazione controllabile di movimenti fisicamente plausibili, come collisioni realistiche e risposte dei materiali.
Fatti principali
- PhyCo introduce un controllo continuo, interpretabile e fisicamente fondato nella generazione video.
- Il dataset include oltre 100.000 video di simulazione fotorealistici con variazione sistematica di attrito, restituzione, deformazione e forza.
- L'affinamento supervisionato dalla fisica utilizza una ControlNet condizionata su mappe di proprietà fisiche allineate ai pixel.
- L'ottimizzazione della ricompensa guidata da VLM fornisce feedback differenziabile tramite un modello visione-linguaggio affinato.
- Affronta problemi come la deriva degli oggetti, collisioni non realistiche e risposte dei materiali non corrispondenti nei modelli di diffusione video.
Entità
Istituzioni
- arXiv