La distillazione della conoscenza ha effetti asimmetrici sul bias nei modelli linguistici di piccole dimensioni

Uno studio recente pubblicato su arXiv (2607.28639) indica che la distillazione della conoscenza in modelli linguistici compatti ottimizzati con istruzioni ha impatti disomogenei sul bias. Nei compiti non ambigui (BBQ-disambig), la distillazione basata sulle risposte del modello Gemma-2-9B migliora il seguire il contesto, riducendo il tasso di errore di sovrascrittura del contesto dal 44% al 24% per il modello di base più distorto (SmolLM2-1.7B-Instruct). Al contrario, nei compiti ambigui (BBQ-ambig), lo stesso processo compromette la calibrazione del rifiuto per singolo elemento, con il 15% degli elementi che ricevono risposte stereotipate invece delle corrette astensioni. Questa tendenza si rispecchia in un altro modello studente (OLMo-2-1B-Instruct), mostrando una perdita di silenzio dell'8% e l'89% del nuovo bias attribuito al silenzio riempito. In 28 configurazioni, la perdita di silenzio e il silenzio riempito non mostrano correlazione (Spearman ρ=0.19, n.s.), suggerendo meccanismi distinti in gioco. Questi risultati mettono in discussione l'idea che la distillazione trasferisca semplicemente conoscenza e sottolineano l'importanza di valutare il bias nei modelli distillati.