ActFovea: Protezione Runtime per le Politiche VLA tramite Coerenza Spazio-Temporale tra Azione e Visione
ActFovea è un framework di protezione recentemente introdotto, progettato per identificare e affrontare problemi runtime nelle politiche visione-linguaggio-azione (VLA) utilizzate nella manipolazione robotica. Nonostante la loro efficacia, queste politiche possono subire guasti che interrompono la sincronizzazione tra input visivi, stati del robot e azioni eseguite. In particolare, ActFovea funziona senza la necessità di riaddestrare o modificare la politica VLA esistente. Utilizza la cinematica del robot, gli stati propriocettivi e le azioni precedenti per creare regioni foveali condizionate dall'azione che si concentrano sulle aree rilevanti e sui percorsi di movimento previsti, filtrando le informazioni visive irrilevanti. Il framework valuta le minacce runtime verificando la coerenza del movimento visivo e della recenza delle osservazioni rispetto a variazioni geometriche, propriocettive e di azione. Per i disturbi che possono essere recuperati, ActFovea genera osservazioni candidate specifiche e accetta il recupero solo dopo aver confermato la coerenza dell'azione. Questo framework è descritto in un articolo disponibile su arXiv (arXiv:2607.29169) ed è stato annunciato come una sottomissione di tipo cross, affrontando un bisogno vitale per migliorare l'affidabilità delle politiche VLA in scenari robotici pratici.
Fatti principali
- ActFovea è un framework di protezione plug-and-play per le politiche VLA.
- Rileva e mitiga i disturbi runtime senza riaddestrare o modificare la politica VLA.
- Utilizza la cinematica del robot, gli stati propriocettivi e le azioni recenti per costruire regioni foveali condizionate dall'azione.
- Mantiene le aree rilevanti per il contatto e i corridoi di movimento previsti, sopprimendo il contenuto visivo non pertinente al compito.
- Rileva i rischi runtime valutando il movimento visivo e la freschezza delle osservazioni rispetto a transizioni geometriche, propriocettive e di azione.
- Per i disturbi recuperabili, costruisce osservazioni candidate specifiche per il disturbo e verifica la coerenza dell'azione prima di accettare il recupero.
- Articolo disponibile su arXiv con ID 2607.29169.
- Il tipo di annuncio è cross.
Entità
Istituzioni
- arXiv