Cue-GRPO: Ridistribuzione del Credito Sensibile alla Rarità Migliora le Prestazioni RLVR

Un recente articolo su arXiv (2608.03467v2) presenta Cue-GRPO, una tecnica progettata per affrontare i problemi di concentrazione del credito nell'apprendimento per rinforzo con ricompense verificabili (RLVR). Gli autori definiscono una sfida chiamata 'concentrazione del credito a livello di struttura indotta dalla molteplicità', in cui in GRPO, i pattern di soluzione corretti frequenti accumulano massa di coefficienti positivi in base ai loro tassi di campionamento, mentre i pattern infrequenti ricevono un credito minimo. Per affrontare questo problema, introducono una regola condizionata dalla partizione che rialloca i vantaggi positivi in base alla rarità dei cluster. Cue-GRPO applica questa regola senza la necessità di inferenza di modelli ausiliari, utilizzando Cue Strategici deterministici per creare partizioni locali di rollout delle tracce verificate come corrette. Gli esperimenti condotti su Qwen2.5-Math-7B e Llama-3.1-8B-Instruct dimostrano che Cue-GRPO migliora le prestazioni di campionamento ripetuto AIME, in particolare con budget di campionamento più elevati. L'articolo esplora anche la Ridistribuzione del Credito (CR) sotto Partizioni del Giudice (JP) come estensione aggiuntiva.