DrawVideo: Generazione di Video Lunghi Guidata da Schizzi da Storyboard
DrawVideo è uno strumento innovativo progettato per trasformare schizzi di storyboard in video estesi. Divide il contenuto in singole inquadrature, ciascuna caratterizzata da uno schizzo monocromatico, una specifica di aspetto e una direttiva di movimento. Gli schizzi dettano pose e layout, mentre il prompt di aspetto dettaglia l'estetica dei personaggi e il prompt di movimento gestisce tempistiche e transizioni. Questa tecnica utilizza una struttura a doppio strato per stabilire fotogrammi di riferimento, derivare più fotogrammi chiave di azione e collegare senza soluzione di continuità clip adiacenti. Affrontando i limiti dei tradizionali sistemi testo-video, DrawVideo migliora significativamente il controllo dell'utente sugli elementi visivi in produzioni video più lunghe. L'articolo di ricerca è disponibile su arXiv.
Fatti principali
- DrawVideo è un framework guidato da schizzi e basato su storyboard per la generazione controllabile di video lunghi.
- Decompone i video lunghi in inquadrature controllabili indipendentemente.
- Ogni inquadratura è definita da uno schizzo in bianco e nero, un prompt di aspetto e un prompt di movimento.
- Lo schizzo controlla pose e layout.
- Il prompt di aspetto definisce identità, scena e stile.
- Il prompt di movimento guida le dinamiche temporali.
- Utilizza una strategia gerarchica 'multi-inquadratura globale, singolo schizzo locale'.
- L'articolo è su arXiv con ID 2605.23508.
Entità
Istituzioni
- arXiv