La distillazione della conoscenza deve tenere conto di ciò che perde

Un nuovo articolo su arXiv critica il modo in cui attualmente valutiamo la distillazione della conoscenza. Sostiene che concentrarsi solo sui punteggi dei compiti perde alcune perdite critiche nelle capacità. Gli autori evidenziano un 'assunto di ritenzione' che esiste nelle metriche che utilizziamo e suggeriscono che la distillazione porta naturalmente alla perdita di determinati comportamenti dell'insegnante. Categorizzano varie perdite fuori metrica, inclusi aspetti come incertezza, comportamento ai confini e diversità. Per affrontare queste carenze, propongono obiettivi specifici per ciò che dovrebbe essere preservato in diversi scenari e introducono un concetto chiamato Dichiarazione di Perdita di Distillazione. Se vuoi approfondire, puoi trovare l'articolo completo su arXiv:2604.25110.