EBM-RL: Apprendimento per Rinforzo Disaccoppiato per il Gioco di Ruolo Video

Un nuovo framework noto come EBM-RL (Eye-Brain-Mouth Reinforcement Learning) è stato sviluppato per migliorare i modelli di gioco di ruolo basati su testo per applicazioni come giochi VR e narrazione interattiva. Questo framework basato su GRPO separa distintamente i processi di osservazione ([perception]), ragionamento ([think]) e espressione ([answer]), favorendo così un ancoraggio sensoriale simile a quello umano. Richiede al modello di dare priorità agli indizi visivi, formare successivamente interpretazioni interne e infine produrre dialoghi contestualmente rilevanti. EBM-RL incorpora quattro ricompense sinergiche: allineamento scena-testo basato su CLIP per umore ed emozione, una ricompensa percettivo-cognitiva che rafforza i processi [perception] e [think] per migliorare la probabilità di risposte di riferimento e l'accuratezza delle risposte. Questa ricerca affronta le carenze dei modelli esistenti nel catturare l'atmosfera della scena e la tensione in evoluzione, cruciali per esperienze immersive. L'articolo è disponibile su arXiv con identificatore 2605.04733.