DLAM: Modello di Azione Latente Probabilistico per l'Apprendimento Robotico
I ricercatori introducono DLAM (Azioni Latenti Distribuzionali con Vincoli Temporali), un nuovo approccio per apprendere modelli di azione latente da video senza azioni, al fine di migliorare i modelli visione-linguaggio-azione (VLA). Il metodo affronta la scarsità di dati robotici etichettati con azioni sfruttando l'abbondanza di video osservativi. DLAM modella ogni transizione come una gaussiana diagonale, ancorando la media al cambiamento visivo osservato tramite ricostruzione condizionata su un fotogramma di riferimento. Applica composizione e inversione normalizzate su triplette a intervallo uguale per vincolare sia media che varianza, utilizzando un coefficiente di correlazione condiviso leggero per la composizione della varianza. Questa formulazione probabilistica evita punti di transizione deterministici che causano propagazione dell'errore nella composizione ricorsiva, un limite dei metodi strutturati esistenti. Il lavoro è pubblicato come arXiv:2607.27138.
Fatti principali
- 1. DLAM sta per Azioni Latenti Distribuzionali con Vincoli Temporali.
- 2. Si rivolge ai modelli visione-linguaggio-azione (VLA) limitati dalla scarsità di dati robotici etichettati con azioni.
- 3. I video senza azioni forniscono abbondanti osservazioni di cambiamenti fisici.
- 4. I modelli di azione latente estraggono priori dai dati senza azioni.
- 5. I codici addestrati con ricostruzione possono mancare di struttura per la generazione congiunta con azioni robotiche.
- 6. I metodi strutturati esistenti aggiungono vincoli temporali ma mantengono punti di transizione deterministici.
- 7. Errori residui nelle transizioni inferite localmente possono propagarsi sotto composizione ricorsiva.
- 8. DLAM rappresenta ogni transizione come una gaussiana diagonale.
- 9. La ricostruzione condizionata sul fotogramma di riferimento ancora la media al cambiamento visivo osservato.
- 10. Composizione e inversione normalizzate su triplette a intervallo uguale vincolano media e varianza per dimensione.
- 11. La composizione della varianza utilizza un coefficiente di correlazione condiviso leggero.
- 12. L'articolo è disponibile su arXiv con ID 2607.27138.
Entità
Istituzioni
- arXiv