Modelli Linguistici Più Piccoli Aumentano la Diversità delle Politiche nell'Addestramento GRPO

Un recente articolo su arXiv (2605.30789) indica che modelli linguistici più piccoli della stessa famiglia mostrano una maggiore diversità a livello di politica rispetto alle loro controparti più grandi durante l'ottimizzazione delle politiche relative di gruppo (GRPO). Questa maggiore diversità è temporalmente correlata, mantiene la coerenza logica e offre segnali di esplorazione organizzati per la stima del gradiente, in contrasto con la casualità a livello di token che può aggiungere rumore. I ricercatori introducono S2L-PO (Small-to-Large Policy Optimization), un framework che sfrutta modelli fissi più piccoli come esploratori efficaci per migliorare l'addestramento di modelli più grandi, utilizzando un approccio di ricottura graduale per bilanciare esplorazione e sfruttamento.