SAM3D migliora la comprensione 3D nei modelli di manipolazione robotica

Un recente articolo di ricerca introduce un framework per allineare le rappresentazioni 3D incentrate sugli oggetti all'interno dei modelli Visione-Linguaggio-Azione (VLA), affrontando le loro carenze nella comprensione 3D dettagliata. Questo framework, basato su π0, utilizza SAM3D come istruttore 3D statico per fornire prior 3D dell'oggetto target durante il processo di addestramento. I modelli di riconoscimento identificano gli oggetti rilevanti per il compito, generano maschere degli oggetti e SAM3D produce rappresentazioni 3D dense degli oggetti che si allineano con le caratteristiche visive intermedie di π0. Di conseguenza, la politica può assimilare i dati 3D dell'oggetto target mantenendo il processo di inferenza originale RGB-linguaggio-azione, evitando la necessità di profondità, nuvole di punti, maschere, SAM3D o altri componenti 3D durante il test. L'articolo è disponibile su arXiv con ID 2607.25912.