PS-OPSD: Nuovo Metodo Migliora il Ragionamento nei LLM Auto-Distillati

Uno studio recente pubblicato su arXiv (2608.01589) presenta la distillazione auto-supervisionata on-policy guidata dallo spazio del problema (PS-OPSD), una nuova tecnica volta a migliorare il ragionamento nei grandi modelli linguistici. Invece di fare affidamento su soluzioni di riferimento complete, questo approccio utilizza una guida basata su traiettorie che delinea lo stato iniziale, le condizioni obiettivo, i vincoli e un percorso di transizione di stato scelto. Questo metodo affronta i limiti dei target a livello di token forniti dall'insegnante, che spesso dipendono da dati specifici di riferimento non accessibili durante l'inferenza. Il rollout dello studente e l'obiettivo OPSD rimangono invariati. Nei test su tre benchmark di ragionamento matematico e con dimensioni del modello che vanno da 1.7B a 8B, PS-OPSD ha superato altri metodi in accuratezza aggregata solo su domande. Esperimenti controllati rivelano che la rilevanza della guida e la coerenza dei percorsi migliorano significativamente le prestazioni, sottolineando l'importanza di rappresentare informazioni privilegiate. Il team di ricerca ha reso disponibile questo lavoro su arXiv, contribuendo ai progressi nell'intelligenza artificiale, in particolare nel migliorare le capacità di ragionamento dei modelli linguistici attraverso metodi di auto-distillazione.