OM-GRPO: Un Nuovo Framework RLVR Senza Etichette per Prevenire il Collasso delle Risposte

Uno studio recente pubblicato su arXiv (2608.03119) presenta OM-GRPO, un framework progettato per l'apprendimento per rinforzo senza etichette con ricompense verificabili (RLVR) che affronta la sfida del collasso delle risposte. Il RLVR convenzionale dipende da risposte accurate, il che ostacola la scalabilità. Mentre gli approcci senza etichette basati sul voto sostituiscono la supervisione gold-standard con il consenso dei campioni del modello, rischiano di rinforzare i token di risposta invece di migliorare il ragionamento. OM-GRPO separa la stima della ricompensa dall'ottimizzazione della politica mascherando i gradienti sull'intervallo di risposta, mantenendo comunque le ricompense a livello di risposta attraverso un segnale di consenso soft. Inoltre, introduce la Ricompensa Aumentata da Contrasto, che migliora la stima della ricompensa tramite confronti a coppie economici delle traiettorie esistenti senza richiedere rollout aggiuntivi. L'articolo indica miglioramenti su vari benchmark di ragionamento, sebbene i risultati specifici non siano forniti nell'abstract.