Phone2Act: Teleoperazione basata su smartphone per la raccolta di dati robotici

Un team di ricercatori ha creato Phone2Act, un sistema di teleoperazione economico che trasforma uno smartphone standard in un controller robotico a 6 gradi di libertà (6-DoF) utilizzando Google ARCore. Questa soluzione hardware-agnostica è costruita su un framework modulare ROS 2 con nodi bridge intercambiabili, supportando varie piattaforme, dai cobot industriali a bracci bimanuali a basso costo, senza richiedere modifiche al codice. Un Universal Recorder allinea i flussi RGB multi-camera con il feedback dello stato del robot e facilita l'esportazione di dimostrazioni nel formato dataset LeRobot, consentendo un rapido fine-tuning di VLA. L'efficacia di questo framework è stata confermata tramite il fine-tuning di GR00T-N1.5 utilizzando 130 dimostrazioni, con l'obiettivo di semplificare e ridurre i costi associati alla raccolta di dati di manipolazione diversificati per l'addestramento di modelli Vision-Language-Action, migliorando così l'accessibilità per i team di ricerca.