Cortex 2.0: Fondare i Modelli del Mondo su un'Implementazione Industriale Reale
Cortex 2.0 è un sistema di manipolazione robotica potenziato che passa da una semplice reazione alle situazioni a un approccio più strategico di pianificazione e azione. Genera possibili percorsi futuri in uno spazio latente visivo, li valuta in base alla probabilità di successo ed efficienza, e sceglie l'opzione migliore. Questo avanzamento affronta le sfide incontrate dai modelli Visione-Linguaggio-Azione durante compiti più lunghi. In prove che coinvolgono configurazioni a braccio singolo e doppio in quattro diversi compiti—prelevare e posizionare oggetti, smistare rifiuti e oggetti, smistare viti e disimballare scatole da scarpe—Cortex 2.0 ha costantemente superato i migliori concorrenti.
Fatti principali
- 1. Cortex 2.0 genera traiettorie future candidate in uno spazio latente visivo.
- 2. Assegna punteggi alle traiettorie per successo atteso ed efficienza.
- 3. Si impegna solo sul candidato con il punteggio più alto.
- 4. Passa dal controllo reattivo al pianificare e agire.
- 5. Valutato su piattaforme di manipolazione a braccio singolo e doppio.
- 6. I compiti includono prelevare e posizionare, smistare oggetti e rifiuti, smistare viti e disimballare scatole da scarpe.
- 7. Supera i modelli di base Visione-Linguaggio-Azione allo stato dell'arte.
- 8. Progettato per un'esecuzione affidabile su lunghi orizzonti attraverso diverse configurazioni, compiti e distribuzioni di oggetti mutevoli.
Entità
—