Dataset Annotati con VLM Consentono RL Offline per Agenti Videoludici
I ricercatori propongono l'uso di modelli linguistico-visivi (VLM) per annotare dataset videoludici con ricompense definite dall'uomo, consentendo l'apprendimento per rinforzo (RL) offline per addestrare agenti condizionati. L'approccio affronta sfide nell'RL come la necessità di accesso al motore di gioco, la difficile identificazione e ponderazione delle ricompense, e le ricompense sparse. I primi esperimenti mostrano risultati promettenti ma rivelano anche difficoltà e limitazioni. Il lavoro è pubblicato su arXiv con il titolo 'Training a Conditioned Video Game Agent on a VLM Annotated Dataset' ed è categorizzato sotto Informatica > Intelligenza Artificiale.
Fatti principali
- L'apprendimento per rinforzo (RL) è potente ma non facile da usare per l'apprendimento di politiche.
- L'accesso al motore di gioco è tipicamente richiesto per ottenere ricompense per l'addestramento.
- La corretta identificazione e ponderazione delle ricompense spesso richiede tentativi ed errori.
- Le ricompense sono spesso sparse e comprendere il loro effetto sulla politica è non banale.
- Il metodo proposto annota un dataset videoludico con modelli linguistico-visivi (VLM) istruiti per estrarre ricompense definite dall'uomo.
- L'RL offline può quindi essere utilizzato per addestrare un agente condizionato che risponde ai ritorni desiderati.
- I primi esperimenti hanno rivelato difficoltà e limitazioni.
- L'articolo è disponibile su arXiv con ID 2608.05954.
Entità
Istituzioni
- arXiv