DecomposeR: RL incentrato sul pianificatore per la ricerca approfondita con ricompense basate su DAG

DecomposeR è un framework recentemente introdotto che enfatizza una metodologia incentrata sul pianificatore per condurre compiti di ricerca approfondita. In questo approccio, i modelli linguistici di grandi dimensioni (LLM) vengono utilizzati per ideare strategie di indagine, raccogliere prove e creare risposte complete. Le tecniche tradizionali spesso affrontano sfide nell'assegnazione del credito durante le fasi di pianificazione. DecomposeR utilizza grafi aciclici diretti tipizzati (DAG) per rappresentare chiaramente i piani di ricerca, consentendo una pianificazione esplicita e premiabile. Il framework prevede l'addestramento del modello Qwen3-8B in due fasi: inizialmente, l'apprendimento per rinforzo (RL) del pianificatore si concentra sull'apprendimento della struttura del grafo e della scomposizione delle query, seguito dall'RL del risponditore, che si concentra sull'esecuzione dei rami e sulla sintesi delle risposte finali basate sul piano stabilito. I premi vengono assegnati per token espliciti del pianificatore e output strutturati. L'articolo è disponibile su arXiv con ID 2605.30824.