SISL: Apprendimento di Abilità Auto-Migliorante per un Meta-Apprendimento per Rinforzo Robusto

Un nuovo approccio noto come Self-Improving Skill Learning (SISL) affronta il problema delle dimostrazioni offline rumorose nell'ambito del meta-apprendimento per rinforzo basato su abilità. Mentre il meta-RL consente un rapido adattamento a compiti sconosciuti, incontra difficoltà in scenari a lungo orizzonte. I metodi basati su abilità suddividono le sequenze stato-azione in abilità riutilizzabili attraverso un processo decisionale gerarchico, ma sono particolarmente vulnerabili al rumore nei dataset offline. SISL migliora il raffinamento delle abilità in modo indipendente attraverso politiche separate di miglioramento ad alto livello e delle abilità, incorporando la prioritizzazione delle abilità tramite il rietichettamento del massimo ritorno per concentrare gli aggiornamenti sulle traiettorie di compito rilevanti. Questa strategia riduce l'impatto del rumore, risultando in un adattamento più robusto e stabile. I risultati sperimentali indicano che SISL supera costantemente altre tecniche di meta-RL basate su abilità in vari compiti a lungo orizzonte.