UniWM: Un modello del mondo unificato con memoria aumentata per la navigazione visiva
I ricercatori hanno presentato UniWM, un modello del mondo completo progettato per la navigazione visiva che fonde la previsione visiva egocentrica e la pianificazione in un unico framework autoregressivo multimodale. A differenza degli approcci modulari che mantengono distinte la pianificazione e la modellazione del mondo, UniWM collega direttamente le scelte delle azioni ai risultati visivamente anticipati, garantendo una stretta relazione tra previsione e controllo. Un sistema di memoria gerarchico integra i segnali percettivi immediati con le informazioni sulla traiettoria a lungo termine, facilitando un ragionamento coerente su periodi più lunghi. Il modello è stato testato su quattro benchmark impegnativi — Go Stanford, ReCon, SCAND e HuRoN — insieme al dataset di umanoidi 1X, dimostrando capacità di navigazione migliorate. I risultati dettagliati sono disponibili in un articolo arXiv aggiornato (arXiv:2510.08713), indicando un passo verso agenti incarnati più adattabili e resilienti per ambienti dinamici.
Fatti principali
- UniWM è un modello del mondo unificato con memoria aumentata per la navigazione visiva.
- Integra la previsione visiva egocentrica e la pianificazione in un unico backbone autoregressivo multimodale.
- UniWM fonda la selezione delle azioni sui risultati visualizzati, allineando la previsione al controllo.
- Un meccanismo di memoria gerarchico combina segnali percettivi a breve termine e contesto di traiettoria a lungo termine.
- Valutato su quattro benchmark: Go Stanford, ReCon, SCAND e HuRoN.
- Testato anche sul dataset di umanoidi 1X.
- L'articolo è disponibile su arXiv con identificativo arXiv:2510.08713.
- L'annuncio su arXiv indica che la sottomissione ha sostituito una versione precedente.
Entità
Istituzioni
- arXiv
- 1X