TIDE: Un Nuovo Metodo per Correggere il Disallineamento nella Distillazione On-Policy nei LLM

Un recente articolo su arXiv (2608.09836) scopre una modalità di fallimento nella distillazione on-policy (OPD), un aspetto essenziale dei processi di post-addestramento dei LLM contemporanei. I ricercatori evidenziano un fenomeno chiamato 'accordo degenerato', in cui gli studenti sfruttano cicli ripetitivi per raggiungere un allineamento quasi perfetto dei token con l'insegnante, nonostante output complessivamente difettosi. Essi spostano l'attenzione dal semplice accordo al disallineamento tra insegnante e studente, classificando i token di disallineamento in due categorie: token in eccesso dello studente (prodotti dallo studente ma a cui l'insegnante assegna probabilità quasi zero, portando a aggiornamenti instabili) e token in deficit dello studente (preferiti dall'insegnante ma raramente selezionati dallo studente, ostacolando il trasferimento di pattern di ragionamento). Per affrontare questi problemi, introducono TIDE (Token-level Independent Deficit-Excess correction), che applica correzioni limitate. L'abstract di questo articolo appena annunciato su arXiv dettaglia sia il problema identificato che la soluzione proposta, rendendolo significativo per la comunità AI/LLM, specialmente per coloro che si concentrano su distillazione e addestramento di modelli.