GXPO: Lookahead multi-step efficiente per il RL di ragionamento degli LLM

Una nuova tecnica chiamata Gradient Extrapolation-Based Policy Optimization (GXPO) migliora l'efficienza dell'apprendimento per rinforzo per i modelli linguistici di grandi dimensioni. L'addestramento GRPO tradizionale aggiorna il modello basandosi esclusivamente sul passo corrente, mentre un lookahead multi-step completo produce aggiornamenti superiori ma richiede molteplici passaggi all'indietro. GXPO simula un lookahead locale esteso con solo tre passaggi all'indietro durante una fase attiva, utilizzando lo stesso batch di rollouts, ricompense, vantaggi e perdita GRPO. Esegue due rapidi passi dell'ottimizzatore, valuta gli spostamenti del gradiente, prevede un punto di lookahead virtuale a K passi, avanza la politica verso quel punto e implementa una correzione. Questo metodo riduce i costi computazionali preservando i vantaggi del lookahead multi-step, rendendolo ideale per compiti di ragionamento con risposte verificabili.