AVSD: Auto-Distillazione con Viste Adattive per Modelli Linguistici

I ricercatori introducono AVSD (Adaptive-View Self-Distillation), un metodo per modelli linguistici che apprendono da molteplici tipi di informazioni privilegiate. Tradizionalmente, l'auto-distillazione utilizza lo stesso modello come studente e insegnante, con l'insegnante che accede a informazioni privilegiate non disponibili allo studente. Queste informazioni possono assumere forme come soluzioni, dimostrazioni, feedback o risposte finali. L'approccio fornisce un feedback denso a livello di token senza modelli esterni, ma crea asimmetria: l'insegnante si basa su informazioni specifiche della vista inaccessibili allo studente durante l'inferenza. Inoltre, il tipo ottimale di informazione privilegiata dipende dal compito, complicando la selezione di un singolo insegnante. AVSD affronta entrambe le sfide consentendo l'auto-distillazione con molteplici viste di informazioni privilegiate, ricostruendo la supervisione a livello di token separando i segnali di consenso da quelli specifici dell'insegnante. Il metodo bilancia adattivamente questi segnali per migliorare l'apprendimento dello studente. Il lavoro è pubblicato su arXiv con ID 2605.20643.