SceneCode: l'IA genera scene interne modificabili con oggetti articolati a partire dal testo
Un nuovo framework di IA chiamato SceneCode genera mondi interni eseguibili e basati su codice a partire da prompt in linguaggio naturale, consentendo scene modificabili con oggetti articolati. A differenza dei pipeline tradizionali che producono mesh statiche, SceneCode utilizza un backbone agentico a livello di stanza per creare layout domestici strutturati ed emette AssetRequest per oggetto attraverso un ciclo planner-designer-critic. Ogni richiesta viene poi indirizzata alla generazione di asset on-demand, consentendo la controllabilità a livello di oggetto e la produzione di nuovi asset interattivi. Il lavoro affronta le limitazioni nella sintesi di scene interne per l'IA incarnata, la manipolazione robotica e la valutazione di policy basate su simulazione.
Fatti principali
- SceneCode compila prompt in linguaggio naturale in mondi interni eseguibili e basati su codice.
- Genera scene modificabili con oggetti articolati, a differenza dei pipeline di mesh statiche.
- Un backbone agentico a livello di stanza crea layout domestici strutturati.
- AssetRequest per oggetto vengono emessi attraverso un ciclo planner-designer-critic.
- Il framework consente la produzione on-demand di asset interattivi.
- Si rivolge ad applicazioni nell'IA incarnata, nella manipolazione robotica e nella valutazione di policy basate su simulazione.
- L'articolo è disponibile su arXiv con ID 2605.19587.
- SceneCode è descritto come un framework per la generazione programmatica di mondi.
Entità
Istituzioni
- arXiv