L'Apprendimento per Rinforzo Potenzia il Processo Decisionale dei VLM nei Videogiochi

Un recente preprint su arXiv presenta Odysseus, una tecnica progettata per migliorare i modelli visione-linguaggio (VLM) nella gestione di oltre 100 turni decisionali in videogiochi attraverso l'apprendimento per rinforzo (RL). Lo studio si concentra su Super Mario Land, un ambiente visivamente ricco che richiede percezione, ragionamento e azione sincronizzati per periodi prolungati. I ricercatori analizzano meticolosamente gli elementi algoritmici essenziali e introducono una versione modificata di PPO con un critico a livello di turno semplificato, che aumenta la stabilità dell'addestramento e l'efficienza del campione rispetto ad approcci senza critico come GRPO e Reinforce++. I loro risultati indicano che i VLM preaddestrati possiedono solide capacità iniziali e che l'addestramento RL migliora significativamente le prestazioni in scenari a lungo orizzonte. Questa ricerca affronta le carenze dei metodi attuali che si basano su un esteso addestramento supervisionato con traiettorie umane o limitano l'RL a contesti a breve orizzonte (circa 20-30 turni). I risultati implicano che l'addestramento basato su RL può adattare con successo i VLM per il processo decisionale interattivo in ambienti complessi e multi-step.