DMPO: Un Nuovo Metodo RL per Prevenire il Mode Collapse nel Ragionamento Diversificato

Un nuovo metodo di apprendimento per rinforzo chiamato DMPO (Distribution-Matching Policy Optimization) affronta il mode collapse negli algoritmi on-policy come GRPO. Il mode collapse si verifica quando i modelli concentrano la massa di probabilità su un'unica soluzione, cessando di esplorare alternative. Gli autori mostrano che ciò deriva dal comportamento di ricerca della modalità della minimizzazione della KL inversa. DMPO approssima la minimizzazione della KL diretta costruendo una distribuzione target a livello di gruppo sulle traiettorie campionate proporzionale ai loro reward e allineando la distribuzione della policy ad essa. Ciò fornisce un comportamento di copertura delle modalità senza campionare dal target globale intrattabile, consentendo un'esplorazione sostenuta. Il metodo è validato su problemi combinatori NP-hard, dimostrando una diversità mantenuta nel ragionamento.