La Self-Distillation Fallisce su Compiti Difficili Nonostante il Condizionamento PI

Un nuovo preprint arXiv (2608.04794) rivela che la self-distillation (SD), un'alternativa computazionalmente efficiente all'apprendimento per rinforzo con ricompense verificabili, non riesce a migliorare l'accuratezza di validazione su compiti difficili. Lo studio riproduce i guadagni riportati da SDPO in contesti facili, ma scopre che la stessa configurazione non funziona per compiti impegnativi in ambito di risposta a domande, matematica, codifica e uso di strumenti agente multi-turno. Nonostante le diminuzioni costanti della perdita per token, l'accuratezza di validazione non migliora e tipicamente peggiora. Gli autori propongono una singola catena causale per spiegare questo fallimento, derivante dal condizionamento delle informazioni privilegiate (PI) dell'auto-insegnante. La ricerca copre varie modalità di ragionamento, dimensioni del modello e forme di PI, e testa sia le ricette SDPO che OPSD. I risultati mettono in discussione l'efficacia della SD come obiettivo autonomo senza un termine di ricompensa, sollevando domande sulla sua applicabilità a problemi reali di alta difficoltà. L'articolo è disponibile su arXiv con il titolo 'Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation'.