CPR Previene il Collasso della Politica nel RL Continuo

Un nuovo ottimizzatore chiamato Calibrated Partial Resets (CPR) previene il collasso della politica nell'apprendimento per rinforzo continuo. Le reti neurali soffrono di neuroni dormienti e perdita di espressività in ambienti non stazionari. I reset completi sacrificano le prestazioni e destabilizzano l'addestramento. CPR riporta periodicamente i neuroni a bassa utilità verso l'inizializzazione, con una forza di ripristino scalata in base all'utilità. A differenza dei reset binari o del decadimento uniforme, CPR evita la fragilità e concentra gli aggiustamenti dove necessario. In SlipperyAnt, solo CPR evita il collasso per oltre 400 milioni di passi di addestramento.