Metodi Attore-Critico del Secondo Ordine per MDP Scontati tramite Decomposizione dell'Hessiana della Politica

L'articolo arXiv (2605.14982) esplora il framework della ricompensa scontata nell'apprendimento per rinforzo (RL). Le tecniche attore-critico, che aiutano ad affrontare le difficoltà dell'approssimazione del valore nei metodi del gradiente della politica, generalmente utilizzano aggiornamenti del primo ordine e possono convergere a punti stazionari date condizioni appropriate. Mentre l'ottimizzazione del secondo ordine fornisce aggiornamenti sensibili alla curvatura che possono accelerare la convergenza, il suo uso in RL è spesso ostacolato dalla complessità coinvolta nella stima dell'Hessiana. Gli autori indagano approssimazioni del secondo ordine per l'aggiornamento dell'attore che utilizzano dati completi sulla curvatura dell'obiettivo. Dimostrano che un'approssimazione stabile richiede di trattare la funzione azione-valore come localmente costante rispetto ai parametri della politica, una condizione che non è tipicamente valida nei metodi del gradiente della politica. Questa approssimazione è meglio supportata in un framework a due scale temporali.