PODS: Down-Sampling dei Rollout per un Addestramento RL Efficiente degli LLM

PODS (Policy Optimization with Down-Sampling) è stato sviluppato dai ricercatori per affrontare le sfide dello squilibrio computazionale e di memoria nell'apprendimento per rinforzo con ricompense verificabili (RLVR) per modelli linguistici di grandi dimensioni. RLVR incontra un problema chiave: mentre la generazione dei rollout è altamente parallelizzabile e richiede poca memoria, gli aggiornamenti della policy richiedono significative risorse di comunicazione e memoria. Addestrandosi esclusivamente su un sottoinsieme accuratamente selezionato di rollout, PODS separa la generazione dei rollout dagli aggiornamenti della policy, preservando l'efficacia dell'apprendimento e riducendo significativamente i costi di aggiornamento. L'approccio utilizza il down-sampling a massima varianza, un criterio di selezione metodico che migliora la diversità delle ricompense, e presenta un'implementazione efficiente O(n log n). In pratica, Group Relative Policy Optimization (GRPO) che utilizza PODS raggiunge la massima accuratezza di test del GRPO standard almeno 1,7 volte più velocemente in vari compiti.