Controllo a Politica Chiusa per Attori RL Offline Congelati

Una recente pubblicazione su arXiv (2604.22873) presenta una strategia innovativa a forma chiusa per modificare politiche di apprendimento per rinforzo (RL) offline congelate durante il dispiegamento, senza necessità di riaddestramento. Questa tecnica impiega la composizione di Esperti di Prodotto (PoE) insieme a un prior condizionato all'obiettivo. Un'importante intuizione rivela che la composizione pesata per precisione mantiene la stabilità anche con prior degradati o casuali, rimanendo connessa all'attore congelato, mentre gli adattamenti additivi e basati solo sul prior falliscono. Il selettore di budget KL raggiunge spesso prestazioni vicine a un oracolo. Per attori e prior gaussiani diagonali, PoE con un coefficiente alfa produce la stessa politica deterministica dell'adattamento regolarizzato KL con beta impostato su alfa / (1 - alfa). Questa ricerca affronta situazioni in cui il riaddestramento è impraticabile a causa di limitazioni nei dati, nei costi o nella governance.