X-WAM: Modello Mondiale 4D Unificato per Robotica e Sintesi Video

I ricercatori hanno introdotto X-WAM, un modello mondiale 4D integrato che unisce l'esecuzione di azioni robotiche in tempo reale con la sintesi 4D ad alta fedeltà, comprendente video e ricostruzione 3D, tutto all'interno di un unico framework. Questo modello supera le carenze dei modelli precedenti come UWM, che operano solo nello spazio pixel 2D e faticano a raggiungere un equilibrio tra efficienza dell'azione e qualità della modellazione mondiale. X-WAM utilizza modelli di diffusione video preaddestrati per prevedere video RGB-D multivista e raccoglie dati spaziali attraverso un adattamento strutturale leggero, che consiste nel replicare gli ultimi blocchi del Diffusion Transformer preaddestrato in un ramo specifico di previsione della profondità. Il metodo di Asynchronous Noise Sampling (ANS) migliora sia la qualità della generazione che l'efficienza della decodifica delle azioni attraverso un programma di denoising asincrono su misura. La ricerca è disponibile su arXiv con ID 2604.26694.