BiCICLe: Manipolazione Robotica Bimanuale tramite Apprendimento In-Context Multi-Agente
Un team di ricercatori ha presentato BiCICLe (Bimanual Coordinated In-Context Learning), il primo framework che consente ai LLM convenzionali di eseguire manipolazione bimanuale few-shot senza necessità di fine-tuning. Questo metodo concettualizza il controllo bimanuale come uno scenario leader-seguace multi-agente, suddividendo lo spazio delle azioni in previsioni sequenziali e condizionate per ciascun braccio. Incorpora anche Arms' Debate, un processo di raffinamento iterativo, e aggiunge un terzo LLM-as-Judge per valutare le azioni intraprese. Questa strategia affronta efficacemente le difficoltà poste da uno spazio di azioni congiunto ad alta dimensionalità e dai vincoli stringenti di coordinazione tra braccia che tipicamente superano le capacità delle finestre di contesto standard.
Fatti principali
- BiCICLe è il primo framework per la manipolazione bimanuale few-shot che utilizza LLM standard senza fine-tuning.
- Inquadra il controllo bimanuale come un problema leader-seguace multi-agente.
- Lo spazio delle azioni è disaccoppiato in previsioni sequenziali e condizionate per singolo braccio.
- Arms' Debate è un processo di raffinamento iterativo.
- Un terzo LLM-as-Judge valuta le azioni.
- Le finestre di contesto standard sono sopraffatte dallo spazio di azioni congiunto ad alta dimensionalità e dai vincoli stringenti di coordinazione tra braccia.
- L'approccio utilizza LLM standard solo testo.
- L'apprendimento In-Context preserva le capacità di generalizzazione senza addestramento specifico per il compito.
Entità
—