QLPO: Ottimizzazione delle Politiche Sensibile alla Lunghezza tramite Ricampionamento

Una nuova tecnica nota come Quadrant-weighted Sampling for Length-aware Policy Optimization (QLPO) affronta il problema delle lunghe catene di pensiero nei modelli di ragionamento sostanziali durante l'apprendimento per rinforzo. QLPO, un adattamento basato sul ricampionamento di GRPO, introduce un controllo implicito sulla lunghezza delle risposte senza alterare la funzione di ricompensa. Inizialmente, genera un eccesso di risposte candidate e successivamente ricampiona il set di addestramento, mantenendo il rapporto empirico tra risposte corrette e errate, promuovendo risposte corrette più brevi e risposte errate più lunghe. Questo approccio modifica la distribuzione di addestramento e incoraggia sottilmente la generazione di output più brevi da parte del modello. L'efficacia di questo metodo è stata valutata su modelli con parametri da 1,5B a 32B, comprendenti sia modelli base che modelli di ragionamento avanzati.