LoPE: La perturbazione del prompt potenzia il ragionamento LLM in GRPO

I ricercatori propongono Lorem Perturbation for Exploration (LoPE), un framework di addestramento che affronta il problema dello zero-advantage in Group Relative Policy Optimization (GRPO) per i grandi modelli linguistici. Quando tutti i rollout campionati per una query falliscono, GRPO perde segnali di addestramento efficaci. LoPE introduce perturbazioni nello spazio dei prompt non correlate al compito per spostare la distribuzione di output del modello, consentendo un'esplorazione del ragionamento più ampia senza aumentare i budget di campionamento. Il metodo mira a migliorare i tassi di successo in compiti di ragionamento complessi.