E3C: Generazione Video Egocentrica con Memoria 3D e Controllo della Posizione
I ricercatori hanno introdotto E3C, un framework di diffusione video controllabile per la generazione di video egocentrici. Il sistema utilizza una memoria 3D basata su nuvole di punti semi-dense, arricchita con descrittori di aspetto provenienti dalle caratteristiche video-VAE, renderizzata in punti di vista target. Disaccoppia la struttura persistente della scena dalle dinamiche guidate dall'uomo, affrontando sfide come cambiamenti rapidi del punto di vista, auto-occlusioni e azioni articolate sottili. Il framework è progettato per agenti incarnati per ragionare sulle azioni e sui cambiamenti della scena. L'articolo è disponibile su arXiv.
Fatti principali
- 1. E3C è un framework di diffusione video controllabile per la generazione egocentrica.
- 2. Costruisce una memoria 3D basata su nuvole di punti semi-dense dai fotogrammi di contesto.
- 3. Ogni punto è arricchito con descrittori di aspetto dalle caratteristiche video-VAE.
- 4. La memoria viene renderizzata in punti di vista target.
- 5. Disaccoppia la struttura persistente della scena dalle dinamiche guidate dall'uomo.
- 6. Il framework affronta cambiamenti rapidi del punto di vista e auto-occlusioni.
- 7. È progettato per agenti incarnati per ragionare sulle azioni e sui cambiamenti della scena.
- 8. L'articolo è su arXiv con ID 2605.26316.
Entità
Istituzioni
- arXiv