AssetGen: Generazione Interattiva di Asset 3D in 30 Secondi
Un nuovo modello di IA chiamato AssetGen crea mesh 3D di alta qualità con normali e texture a colori da una singola immagine di riferimento in soli 30 secondi, rendendolo adatto per il rendering in tempo reale, incluse applicazioni mobili. Questo sistema, sviluppato da ricercatori e descritto in arXiv:2605.26137, utilizza un framework VecSet da grossolano a fine per la geometria, insieme a semplificazione della mesh e baking delle normali basati su GPU, e rapida unwrapping UV parallela. Le texture sono generate utilizzando tecniche multi-vista, backprojection e inpainting 3D. Inoltre, una versione più veloce chiamata AssetGen Flash riduce la latenza a 14 secondi per processi di creazione interattivi e agentici. Il modello integra distillazione del modello, ottimizzazione del kernel e parallelizzazione del pipeline per migliorare la distribuibilità a velocità interattive, concentrandosi sull'esperienza utente e sulla distribuibilità, spesso trascurate negli studi recenti di generazione 3D.
Fatti principali
- AssetGen genera asset 3D da una singola immagine di riferimento in 30 secondi.
- La variante AssetGen Flash riduce la latenza a 14 secondi.
- Gli output includono mesh di alta qualità con normali e texture a colori.
- Il budget poligonale è controllato per il rendering in tempo reale, incluso mobile.
- Utilizza un framework VecSet da grossolano a fine per la generazione della geometria.
- La GPU implementa semplificazione della mesh, pulizia e baking delle normali.
- Viene impiegata una rapida unwrapping UV parallela.
- Le texture sono generate tramite approccio multi-vista con backprojection e inpainting 3D.
Entità
Istituzioni
- arXiv