Attore-Critico Federato per un Addestramento Personalizzato delle Politiche
Uno studio recente pubblicato su arXiv introduce un framework attore-critico federato progettato per l'addestramento collaborativo e personalizzato delle politiche. Questo approccio consente agli agenti di utilizzare una rappresentazione condivisa di sottospazio lineare, preservando al contempo elementi di politica locale individualizzati. Gli autori dimostrano la convergenza in tempo finito sotto aggiornamenti a scala temporale singola con campionamento markoviano, rivelando che l'errore del critico converge a un tasso di O~(1/((1-γ)^4√(TK))) e la norma del gradiente della politica a O~(1/((1-γ)^6√(TK))). Questa ricerca affronta le sfide dell'eterogeneità ambientale e della personalizzazione, aspetti spesso trascurati dagli studi precedenti.
Fatti principali
- arXiv:2605.14423v1
- Tipo di annuncio: cross
- Framework attore-critico federato
- Gli agenti condividono una rappresentazione comune di sottospazio lineare
- Componenti di politica locale personalizzate
- Aggiornamenti a scala temporale singola con campionamento markoviano
- Tasso di convergenza dell'errore del critico: O~(1/((1-γ)^4√(TK)))
- Tasso di convergenza della norma del gradiente della politica: O~(1/((1-γ)^6√(TK)))
Entità
Istituzioni
- arXiv