SORT: Selective Off-Policy Reference Tuning migliora il ragionamento nei LLM

I ricercatori hanno presentato Selective Off-Policy Reference Tuning (SORT), una tecnica che migliora l'apprendimento per rinforzo utilizzando ricompense verificabili per i grandi modelli linguistici. SORT affronta un significativo svantaggio degli approcci stile GRPO, che faticano con prompt difficili in cui ogni rollout campionato fallisce. Invece di alterare la generazione dei rollout, SORT implementa un aggiornamento di riparazione: formula un piano basato sulla soluzione di riferimento, valuta le probabilità dei token con e senza quel piano, e dà priorità ai token che diventano più prevedibili quando condizionati dal piano. Questo approccio converte prompt completamente errati in segnali di apprendimento selettivi e strutturati, piuttosto che in semplice imitazione. SORT dimostra miglioramenti rispetto a GRPO e ai baselines di guida su tre backbone e otto benchmark di ragionamento, in particolare a vantaggio dei modelli più deboli.