EvoScene-VLA: Credenze di Scena Aggiornate dall'Azione per il Controllo Robotico

EvoScene-VLA ha svelato uno stato di scena dinamico e continuamente aggiornato, progettato per il controllo robotico a blocchi. Le politiche VLA tradizionali prevedono azioni multi-step basandosi esclusivamente sugli input visivi correnti; tuttavia, le azioni eseguite dal robot possono causare contatti, occlusioni e movimenti di oggetti, modificando la geometria su cui si basano le decisioni successive prima del successivo aggiornamento visivo. Mentre i VLA spaziali migliorano la geometria del fotogramma corrente e i VLA temporali compilano informazioni da fotogrammi precedenti, nessuno dei due mantiene efficacemente uno stato di scena aggiornato dall'azione tra i blocchi. Il prefisso di scena ricorrente in EvoScene-VLA preserva uno stato di scena consapevole della geometria durante le chiamate di controllo. Ad ogni invocazione del VLM, il modello fonde i dati di scena dell'osservazione più recente con lo stato aggiornato dall'azione precedente del blocco precedente. Il decodificatore di azione genera quindi sia il blocco di azione successivo che un aggiornamento di scena conciso, che funge da nuovo prior per il VLM da adattare alla nuova osservazione. Questa metodologia favorisce l'evoluzione delle credenze di scena all'interno del decodificatore di azione, migliorando così i compiti di manipolazione a lungo orizzonte.