Ego2World: Trasformare Video di Cucina in Mondi Eseguibili per la Pianificazione dell'IA
Ego2World è stato lanciato da ricercatori come benchmark che trasforma video di cucina egocentrici in mondi simbolici adatti alla pianificazione basata sullo stato delle credenze. Utilizzando il dataset HD-EPIC, estrae regole di transizione dalle annotazioni video e le implementa all'interno di un grafo di mondo simbolico nascosto. L'agente si basa esclusivamente su osservazioni locali e feedback di esecuzione per la pianificazione, affrontando efficacemente il divario sim-reale nell'IA incarnata. Questa ricerca affronta le sfide dell'osservabilità parziale in ambienti domestici, dove gli agenti devono monitorare oggetti e cambiamenti di stato. L'articolo è disponibile su arXiv.
Fatti principali
- 1. Ego2World converte video di cucina egocentrici in mondi simbolici eseguibili.
- 2. È basato sul dataset HD-EPIC.
- 3. Il benchmark utilizza regole di transizione basate su grafi derivate dalle annotazioni video.
- 4. Il simulatore mantiene un grafo di mondo nascosto durante la valutazione.
- 5. L'agente pianifica sul proprio grafo di credenze parziale utilizzando osservazioni locali e feedback di esecuzione.
- 6. Il lavoro affronta il divario sim-reale nell'IA incarnata.
- 7. Si concentra sulla pianificazione basata sullo stato delle credenze in condizioni di osservabilità parziale.
- 8. L'articolo è disponibile su arXiv.
Entità
Istituzioni
- arXiv