CIST: Temperatura Soft-Label Consistente per la Distillazione della Conoscenza
Un nuovo metodo chiamato CIST (Temperatura Soft-Label Costantemente Informativa) affronta le limitazioni nella distillazione della conoscenza assegnando temperature separate e adattive al campione ai modelli insegnante e studente. La distillazione standard a temperatura fissa produce entropia incoerente nelle soft label dell'insegnante, con alcune previsioni eccessivamente nette e altre eccessivamente smussate. CIST garantisce soft label costantemente informative, migliorando il trasferimento di conoscenza dall'insegnante ad alta capacità allo studente compatto.
Fatti principali
- 1. CIST assegna temperature separate ai modelli insegnante e studente.
- 2. La distillazione standard a temperatura fissa è indipendente dal campione.
- 3. CIST affronta l'entropia incoerente nelle soft label dell'insegnante.
- 4. CIST migliora il trasferimento di conoscenza dall'insegnante allo studente.
- 5. Il metodo è proposto in arXiv:2605.20357.
- 6. La distillazione della conoscenza trasferisce conoscenza tramite l'allineamento delle distribuzioni predittive.
- 7. La scalatura della temperatura rivela la conoscenza oscura oltre le hard label.
- 8. CIST sta per Temperatura Soft-Label Costantemente Informativa.
Entità
—