SERL: L'apprendimento selettivo con riponderazione ambientale migliora le prestazioni degli agenti LLM

I ricercatori hanno introdotto un nuovo framework di apprendimento per rinforzo chiamato SERL (Selective Environment-Reweighted Learning), che migliora l'assegnazione del credito per agenti LLM multi-turno utilizzando il feedback dell'ambiente ad ogni passo. SERL determina la direzione degli aggiornamenti in base ai premi del compito, mentre il feedback ambientale regola sia il posizionamento che l'intensità, enfatizzando le azioni essenziali. Nei benchmark come ALFWorld e WebShop, SERL registra tassi di successo rispettivamente del 90,0% e dell'80,1%, superando i robusti basamenti RL e di distillazione. L'approccio esamina cinque fonti di feedback e due livelli di granularità di inserimento, affrontando il problema della distribuzione di segnali sparsi di successo o fallimento su numerose azioni in compiti lunghi. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2605.19447.