Esecuzione Rigorosa dei Sotto-obiettivi: Un Nuovo Framework RL Gerarchico

I ricercatori propongono Strict Subgoal Execution (SSE), un framework di apprendimento per rinforzo gerarchico basato su grafi, progettato per affrontare compiti a lungo termine condizionati da obiettivi. SSE integra Frontier Experience Replay (FER) per distinguere i sotto-obiettivi irraggiungibili da quelli ammissibili, migliorando l'efficienza della pianificazione di alto livello. FER utilizza transizioni di fallimento e successo parziale per definire una frontiera di raggiungibilità, filtrando i sotto-obiettivi inaffidabili e riducendo le decisioni non necessarie. Il framework include anche una politica di esplorazione disaccoppiata per mirare a regioni di obiettivo poco esplorate e un meccanismo di raffinamento del percorso. Questo approccio affronta le limitazioni del conventional hindsight relabeling nei metodi gerarchici e basati su grafi, che spesso non correggono l'infeasibilità dei sotto-obiettivi. Il lavoro è dettagliato in un articolo su arXiv (2506.21039).