La marginalizzazione dei prefissi byte consente la distillazione on-policy tra tokenizer diversi

Una nuova tecnica chiamata Byte-Prefix Marginalization (BPM) è stata sviluppata dai ricercatori per la distillazione on-policy tra modelli linguistici che utilizzano tokenizer diversi. Questo metodo riformula la distribuzione del token successivo dal modello insegnante per allinearla al vocabolario dello studente, associando le probabilità dei token dell'insegnante con il token più lungo dello studente che condivide un prefisso nella rappresentazione byte. Mentre la massa aggregata per i token identici dello studente viene mantenuta, qualsiasi massa non corrispondente viene categorizzata in un gruppo residuo distinto. Ciò risulta in un target completo nel vocabolario, allineato ai byte e che preserva la massa per una densa distillazione on-policy. BPM supera le sfide della tradizionale distillazione on-policy a vocabolario completo, che di solito si basa su un tokenizer comune, e migliora gli approcci esistenti tra tokenizer diversi che potrebbero perdere massa di probabilità o assegnarla erroneamente. I dettagli completi si trovano nel preprint arXiv 2607.22334.