L'allineamento graduale sostenuto guida l'apprendimento subliminale nella distillazione MNIST multi-step

Uno studio recente in informatica pubblicato su arXiv rivela che l'apprendimento subliminale—in cui un modello studente acquisisce una caratteristica non intenzionale da un insegnante concentrandosi solo sui logit di non-classe—persiste in scenari multi-step a causa del continuo allineamento del gradiente. L'esperimento che coinvolge la distillazione dei logit ausiliari MNIST indica che l'allineamento del gradiente rimane debolmente ma costantemente positivo durante l'addestramento, svolgendo un ruolo causale nell'acquisizione di tratti. Sebbene la tecnica di mitigazione suggerita, l'addestramento liminale, miri a ridurre questo allineamento, non impedisce completamente l'acquisizione di tratti in questo contesto. Gli autori concludono che i metodi progettati per mitigare questo problema potrebbero non limitare efficacemente l'acquisizione di tratti quando le influenze del primo ordine sono predominanti.