Distillazione Progressiva Guidata dall'Apprendimento Curricolare per LLM

Un nuovo framework chiamato Distillazione Progressiva Guidata dall'Apprendimento Curricolare (CLPD) affronta due aspetti spesso trascurati della distillazione della conoscenza nei modelli linguistici di grandi dimensioni: la sequenza dei dati di addestramento e la disparità di capacità tra modello insegnante e modello studente. Creando un curriculum strutturato che organizza gli esempi di addestramento dal più semplice al più complesso, CLPD allinea la difficoltà dei dati con le capacità dell'insegnante. Inoltre, implementa un curriculum implicito che introduce progressivamente insegnanti con maggiore capacità. Questo metodo mira a risolvere il problema paradossale per cui insegnanti più competenti non producono studenti migliori. CLPD è modulare, consentendo l'integrazione nei processi di distillazione esistenti. I risultati sono presentati nell'articolo arXiv 2605.11260.