Materialist: Rendering Fisicamente Basato con Inizializzazione Neurale per l'Editing di Immagini Singole
Un team di ricercatori ha presentato Materialist, un nuovo pipeline per l'inverse rendering di immagini singole che utilizza un approccio fisicamente basato con inizializzazione neurale. Questa tecnica sfrutta reti neurali per prevedere le caratteristiche iniziali dei materiali, che vengono successivamente perfezionate attraverso un rendering differenziabile progressivo. Di conseguenza, facilita modifiche ai materiali, inserimento di oggetti, ri-illuminazione e regolazione della trasparenza dei materiali tramite rifrazione ray-traced. A differenza dei metodi attuali che affrontano difficoltà con ombre e rifrazioni o dipendono da strategie basate sulla fisica che richiedono ottimizzazione multi-vista, Materialist combina l'inizializzazione neurale con il perfezionamento basato sulla fisica specificamente per contesti di immagini singole. Il documento completo è disponibile su arXiv.
Fatti principali
- Materialist è un pipeline di rendering fisicamente basato con inizializzazione neurale per l'inverse rendering di immagini singole.
- Utilizza reti neurali per prevedere le proprietà iniziali dei materiali.
- Le proprietà vengono ottimizzate tramite rendering differenziabile progressivo.
- Le applicazioni includono editing di materiali, inserimento di oggetti, ri-illuminazione e editing della trasparenza.
- I metodi neurali esistenti hanno difficoltà con ombre e rifrazioni.
- I metodi basati sulla fisica spesso richiedono ottimizzazione multi-vista.
- Il documento è su arXiv con ID 2501.03717.
- È stato annunciato come tipo replace-cross.
Entità
Istituzioni
- arXiv