CVPO: Nuovo Metodo RL Migliora il Ragionamento degli LLM con Adattamento della Varianza del Valore

È stata introdotta una nuova tecnica di apprendimento per rinforzo chiamata Curriculum-guided Value-Variance Policy Optimization (CVPO) per migliorare le capacità di ragionamento dei grandi modelli linguistici (LLM). Questo metodo affronta due sfide principali nelle attuali strategie RL: la mancanza di feedback preciso sulle traiettorie delle risposte e il problema della difficoltà variabile dei problemi. CVPO funziona su due livelli: impiega la varianza del valore a livello di token nella traiettoria di risposta per misurare la casualità intrinseca, creando un aggiustamento del vantaggio sensibile alla varianza per vari tipi di ricompensa. A livello di domanda, presenta un sistema di ponderazione curriculare dinamico che si adatta in base alla difficoltà della domanda, allineando i compiti con le capacità del modello. L'articolo, disponibile su arXiv (2608.03068), include un'analisi teorica che indica che la varianza del valore limita l'ampiezza dell'aggiornamento della politica e suggerisce un legame tra varianza e intensità di esplorazione, potenzialmente migliorando l'efficienza dell'addestramento RL per gli LLM.