Assegnazione del Credito Basata su Grafi per RL Agentico

Una nuova tecnica di apprendimento per rinforzo nota come Graph-based Group Policy Optimization (GraphGPO) affronta la sfida dell'assegnazione del credito in compiti agentici creando un grafo completo di transizioni di stato derivato dalle traiettorie di rollout. A differenza del RL di gruppo convenzionale, che dipende da un'attribuzione a livello di traiettoria legata ai risultati finali, GraphGPO valuta la distanza da ogni stato all'obiettivo del compito utilizzando dati globali del grafo. Assegna credito a ciascun arco in base a quanto la transizione riduce tale distanza, facilitando un'assegnazione del credito più precisa a livello di passo. Questo metodo rivela intuizioni nascoste da traiettorie fallite, dove passaggi cruciali potrebbero essere trascurati. Progettato per l'apprendimento per rinforzo agentico e grandi modelli linguistici, migliora le attuali strategie di ottimizzazione delle politiche di gruppo. La ricerca è disponibile su arXiv con l'identificatore 2605.26684.