Inpainting 3D senza addestramento tramite ottimizzazione del rumore iniziale
Un nuovo metodo chiamato InpaintSLat consente l'inpainting 3D controllabile senza addestramento, utilizzando l'ottimizzazione del rumore iniziale all'interno di un framework di diffusione latente 3D strutturato. L'approccio affronta l'instabilità in compiti che richiedono un allineamento rigoroso con il contesto esistente durante la sintesi di nuove strutture. Aggiorna il rumore iniziale tramite approssimazione di retropropagazione basata su un modello di flusso rettificato, con parametrizzazione spettrale per un'ottimizzazione robusta. Gli esperimenti mostrano miglioramenti costanti nella fedeltà. L'articolo è disponibile su arXiv.
Fatti principali
- InpaintSLat è un approccio senza addestramento per l'inpainting 3D controllabile.
- Utilizza l'ottimizzazione del rumore iniziale in un framework di diffusione latente 3D strutturato.
- Il metodo aggiorna il rumore iniziale tramite approssimazione di retropropagazione basata su un modello di flusso rettificato.
- La parametrizzazione spettrale viene utilizzata per un'ottimizzazione robusta ed efficiente.
- Gli esperimenti dimostrano un miglioramento costante nella fedeltà dell'inpainting 3D.
- L'articolo è pubblicato su arXiv con ID 2605.00664.
- L'approccio affronta problemi di stabilità nei compiti di inpainting e editing.
- La struttura geometrica viene stabilita precocemente nella diffusione ed è sensibile al rumore iniziale.
Entità
Istituzioni
- arXiv