SmartDirector: Framework AI per la Generazione di Video Cinematografici Basati su Keyframe
Un nuovo framework chiamato SmartDirector è stato sviluppato da ricercatori per generare video cinematografici con un ritmo narrativo controllato basato su keyframe. A differenza dell'affidamento a input limitati come prompt testuali o solo fotogrammi iniziali e finali, questo sistema utilizza molteplici keyframe per migliorare le capacità narrative. Consente la creazione di video a singola inquadratura, lo sviluppo narrativo multi-inquadratura e l'estensione video. SmartDirector funziona in due fasi: la prima fase, Director-Gen, produce un video a bassa risoluzione guidato dai keyframe, mentre la seconda fase, Director-SR, migliora l'output utilizzando keyframe ad alta risoluzione come riferimenti semantici. È stata stabilita una pipeline di dati completa per un addestramento efficace con molteplici keyframe. Il paper è disponibile su arXiv.
Fatti principali
- 1. SmartDirector è un framework per la generazione di video condizionati da keyframe.
- 2. Migliora la capacità narrativa attraverso molteplici keyframe.
- 3. Supporta la generazione a singola inquadratura, multi-inquadratura e l'estensione video.
- 4. Pipeline a due stadi: Director-Gen e Director-SR.
- 5. Director-Gen genera video a bassa risoluzione dai keyframe.
- 6. Director-SR utilizza keyframe ad alta risoluzione come ancore semantiche.
- 7. La pipeline di dati consente un addestramento robusto con molti keyframe.
- 8. Paper disponibile su arXiv con ID 2605.27891.
Entità
Istituzioni
- arXiv