SAF-OPD: Fusione di Vantaggio Stabile per la Distillazione On-Policy in RLVR

Uno studio recente introduce SAF, che sta per Stable Advantage Fusion, con l'obiettivo di fondere l'apprendimento per rinforzo con ricompense verificabili (RLVR) e la distillazione on-policy (OPD) per l'addestramento di modelli linguistici di grandi dimensioni. La ricerca, intitolata 'SAF-OPD: Stable Advantage Fusion for On-Policy Distillation,' è disponibile su arXiv con ID 2607.29209. Gli autori notano che RLVR invia una ricompensa uniforme a livello di risposta a tutti i token, mentre OPD offre vantaggi dettagliati a livello di token da un insegnante superiore ma limita le prestazioni alla qualità dell'insegnante e ostacola l'esplorazione. La combinazione ingenua di questi metodi con un coefficiente fisso provoca il collasso dell'entropia a causa di disallineamenti di magnitudo e tempistica. SAF affronta queste sfide attraverso un processo semplificato in quattro fasi focalizzato esclusivamente sui vantaggi OPD, incorporando una strategia di sparsificazione e compressione. Questo documento suggerisce anche una potenziale presentazione a conferenza, affrontando un problema significativo nell'allineamento dei modelli linguistici con ricompense verificabili, che potrebbe migliorare l'efficienza dell'addestramento e le prestazioni del modello.