Uno stimatore di difficoltà basato su grafi migliora la pianificazione dei rollout in RLVR

L'apprendimento per rinforzo con ricompense verificabili (RLVR) migliora le capacità di ragionamento dei modelli linguistici di grandi dimensioni, ma comporta un'esplorazione tramite rollout costosa. Gli scheduler adattivi attuali si basano su una selezione basata su curriculum o su una distribuzione non uniforme dei rollout, ma spesso non forniscono valutazioni accurate della difficoltà online. Le tecniche di probing introducono un overhead aggiuntivo, mentre gli stimatori basati su dati storici soffrono di avvio a freddo e feedback obsoleto. Questo studio introduce uno stimatore di difficoltà online basato su grafi che diffonde il feedback dei rollout attraverso vari campioni, migliorando la valutazione della difficoltà senza incorrere in costi di probing. Si integra perfettamente negli attuali framework di addestramento RLVR, ottimizzando l'esplorazione verso i campioni che ne hanno più bisogno. Questo approccio affronta le carenze dell'allocazione uniforme del budget e dei metodi di schedulazione esistenti, riducendo potenzialmente i costi computazionali e migliorando le capacità di ragionamento. L'articolo è disponibile su arXiv con identificativo 2608.17941.