Nuova ricerca sull'IA propone le Multi-Resolution Skills per migliorare l'apprendimento per rinforzo gerarchico

Un recente studio presenta le Multi-Resolution Skills (MRS), un approccio innovativo volto a superare le sfide nell'apprendimento per rinforzo gerarchico (HRL). Sebbene l'HRL suddivida le politiche in ruoli di manager e worker per una pianificazione estesa, spesso incontra difficoltà con compiti che richiedono agilità. Lo studio identifica un problema fondamentale: nell'HRL basato su subgoal, la rappresentazione degli obiettivi del manager manca frequentemente di vincoli riguardanti la raggiungibilità o il divario temporale dagli stati attuali, ostacolando una selezione accurata dei subgoal locali. I ricercatori rivelano che la distanza ideale del subgoal è influenzata sia dal compito che dallo stato: la prossimità consente un controllo preciso ma aumenta il rumore di predizione, mentre subgoal distanti producono un movimento più fluido a scapito dell'accuratezza geometrica. Le MRS sviluppano vari moduli di predizione degli obiettivi adattati a specifici orizzonti temporali, supportati da un meta-controller addestrato in modo collaborativo che sceglie tra di essi in base allo stato corrente. Questo metodo supera costantemente i benchmark a risoluzione fissa. I risultati sono stati condivisi su arXiv con l'identificatore arXiv:2505.21410v2.