CWAC: Un Framework Unificato per Mitigare la Sovrastima nell'Apprendimento per Rinforzo Off-Policy
I ricercatori propongono Collaborative Weighting Actor-Critic (CWAC), un framework che affronta il bias di sovrastima nell'apprendimento per rinforzo off-policy profondo per il controllo continuo. CWAC utilizza un critico distribuzionale per modellare l'incertezza del rendimento e un critico pessimistico per ridurre il peso delle transizioni ad alta incertezza, contrastando l'amplificazione del bias derivante dall'apprendimento per differenza temporale e dagli aggiornamenti greedy della politica. Il metodo è dettagliato nel preprint arXiv 2607.26509.
Fatti principali
- CWAC sta per Collaborative Weighting Actor-Critic
- Mira al bias di sovrastima nell'RL off-policy profondo per il controllo continuo
- Utilizza un critico distribuzionale per modellare l'incertezza del rendimento
- Impiega un critico pessimistico per ridurre il peso delle transizioni ad alta incertezza
- Affronta il bias derivante dall'apprendimento TD e dagli aggiornamenti greedy della politica
- Pubblicato come arXiv:2607.26509
- Si concentra sui metodi actor-critic
- Propone un framework unificato anziché modifiche separate
Entità
Istituzioni
- arXiv