CForce: Il Forzamento della Coerenza Potenzia la Decodifica Parallela per i Modelli Linguistici a Diffusione

I ricercatori hanno introdotto Consistency Forcing (CForce), un metodo di distillazione progettato per migliorare l'affidabilità dei modelli linguistici a diffusione (dLLM) durante la decodifica parallela. I dLLM generano testo prevedendo più maschere in un singolo passaggio in avanti, ma un parallelismo aggressivo può portare a previsioni inaffidabili nelle prime fasi di denoising, causando errori che si propagano. CForce affronta questo problema forzando le previsioni delle maschere nelle fasi iniziali ad allinearsi con quelle delle fasi successive, addestrando il modello su traiettorie di auto-rollout pre-collezionate per migliorare l'allineamento tra addestramento e inferenza. Il metodo impiega la divergenza KL adattiva alla confidenza come obiettivo di distillazione, combinando i punti di forza della divergenza KL diretta e inversa. L'analisi teorica mostra che CForce minimizza approssimativamente l'errore di previsione nelle fasi iniziali. L'approccio è applicabile sia alla decodifica da maschera a token che ad altri paradigmi di decodifica. L'articolo è disponibile su arXiv con l'identificatore 2608.13925.