d3LLM: LLM a Diffusione Pseudo-Distillato Bilancia Accuratezza e Parallelismo

Uno studio recente pubblicato su arXiv (2601.07568) presenta d3LLM (Pseudo-Distilled Diffusion Large Language Model), un approccio innovativo volto ad affrontare il dilemma accuratezza-parallelismo nei modelli di linguaggio di grandi dimensioni a diffusione (dLLM). Mentre i dLLM offrono vantaggi come la decodifica parallela e la generazione in ordine casuale rispetto ai LLM autoregressivi (AR), implementare questi vantaggi è spesso problematico. I metodi tradizionali di solito privilegiano l'efficienza o l'accuratezza, ma d3LLM combina innovativamente entrambi utilizzando la distillazione di pseudo-traiettorie nell'addestramento, guidando il modello su quali token decodificare con sicurezza nelle fasi iniziali per migliorare il parallelismo. Per l'inferenza, incorpora la decodifica multi-blocco basata sull'entropia insieme a un meccanismo di aggiornamento della cache KV per garantire un elevato parallelismo senza sacrificare l'accuratezza. Inoltre, l'articolo introduce AUP (Accuracy under Parallelism) come nuova metrica per valutare i dLLM. Questa ricerca è stata categorizzata come tipo replace-cross su arXiv.