Pegasus Framework Colma il Divario di Embodiment per l'Apprendimento Robotico
Un nuovo framework chiamato Pegasus, descritto in un preprint su arXiv (2607.26903), affronta il collo di bottiglia dei dati nell'IA embodied. Sebbene esistano miliardi di video che mostrano manipolazioni umane, i robot faticano ad apprendere da essi a causa della disparità tra forme umane e robotiche. Pegasus converte le dimostrazioni umane in dati adatti ai robot attraverso un trasferimento strutturato di conoscenza, utilizzando una rappresentazione intermedia basata su grafi. Trasforma un Task Graph da video umani in un Robot Planning Graph tramite Affordance e Constraint Graphs, facilitando la generazione di video condizionati dal robot. Inoltre, uno spazio latente di affordance gerarchico cattura stati degli oggetti, compiti e affordance, consentendo la generalizzazione oltre oggetti specifici. Un verificatore fisico a ciclo chiuso garantisce la validità delle generazioni applicando vincoli di fattibilità cinematica e di collisione. Questo framework efficiente in termini di risorse mira a migliorare l'apprendimento robotico da video umani.
Fatti principali
- 1. Pegasus è un framework a basso consumo di risorse per l'IA embodied.
- 2. Colma il divario di embodiment tra morfologia umana e hardware robotico.
- 3. Utilizza una rappresentazione intermedia basata su grafi: Task Graph, Affordance Graph, Constraint Graph, Robot Planning Graph.
- 4. Uno spazio latente di affordance gerarchico consente la generalizzazione oltre le identità degli oggetti.
- 5. Un verificatore fisico a ciclo chiuso filtra le generazioni non valide.
- 6. Il framework traduce le dimostrazioni umane in dati apprendibili dai robot.
- 7. Il collo di bottiglia nell'IA embodied sono i dati, non l'architettura del modello.
- 8. Il preprint è su arXiv con ID 2607.26903.
Entità
Istituzioni
- arXiv