Distillazione on-policy multi-insegnante per il recupero delle capacità dei LLM

Un nuovo articolo su arXiv (2605.27115) affronta la sfida di recuperare le capacità generali dei LLM dopo la specializzazione in un dominio. La specializzazione di dominio migliora il comportamento in settori verticali ma spesso indebolisce le capacità generali. Gli autori propongono un metodo di distillazione on-policy multi-insegnante consapevole della controazione, che funziona con prompt generali proxy facilmente disponibili, evitando la necessità di ricostruire distribuzioni di addestramento nascoste. Identificano due modalità di fallimento nella MOPD vanilla: la controazione recupero-conservazione dovuta a gradienti contrastanti e l'appiattimento del segnale debole dovuto alla media uniforme. Il metodo mira a bilanciare recupero e conservazione.