Twice Sequential Monte Carlo Tree Search migliora l'apprendimento per rinforzo

I ricercatori introducono Twice Sequential Monte Carlo Tree Search (TSMCTS), un metodo di apprendimento per rinforzo basato su modello che supera sia il baseline Sequential Monte Carlo (SMC) sia una versione moderna di Monte Carlo Tree Search (MCTS) come operatore di miglioramento delle politiche. TSMCTS affronta i problemi di varianza e degenerazione dei percorsi in SMC, scalando meglio con l'aumento della profondità di ricerca, pur rimanendo adatto alla GPU. Il metodo è stato testato in ambienti discreti e continui, mostrando una scalabilità favorevole con il calcolo sequenziale e una ridotta varianza dello stimatore.