Dyna-Style RL Migliora l'Efficienza di Campionamento nella Locomozione Quadrupede

Una nuova strategia di apprendimento per rinforzo per il movimento quadrupede, descritta in un articolo su arXiv (2509.06296), impiega metodi basati su modelli per migliorare l'efficienza di campionamento. Questo approccio Dyna-style integra i rollout PPO con dati sintetici prodotti da un modello di transizione appreso, utilizzando code sintetiche a breve orizzonte ancorate a simulazioni basate sulla fisica per la stabilità. Una strategia programmata integra gradualmente le transizioni sintetiche, minimizzando la dipendenza dal modello durante la fase iniziale di addestramento quando l'accuratezza delle previsioni è bassa. Studi di ablazione completi indagano l'impatto di vari parametri dei dati sulla dinamica di apprendimento del PPO. Testato su un robot Unitree Go1, il metodo ha raggiunto la convergenza con un numero significativamente inferiore di passi di simulazione (19,64 milioni). Questo lavoro affronta le inefficienze dei controller RL on-policy tradizionali, che spesso richiedono milioni di interazioni. Il team di ricerca ha annunciato questo tipo di sostituzione su arXiv, potenzialmente portando a un addestramento più efficiente per i robot a zampe, riducendo così i costi computazionali e il tempo.