Modelli Linguistici Diffusivi vs Autoregressivi: Differenze Testuali

Uno studio su arXiv (2605.12522) confronta il testo generato da modelli linguistici diffusivi (DLM) e modelli linguistici autoregressivi (ARM). Empiricamente, i DLM mostrano una minore entropia degli n-grammi, una maggiore coerenza semantica e una maggiore diversità semantica. Esperimenti controllati separano gli obiettivi di addestramento dagli algoritmi di decodifica. L'obiettivo di addestramento dei DLM aumenta la coerenza e la diversità semantica, ma influisce appena sull'entropia. Il contesto bidirezionale è il principale fattore determinante; il mascheramento degli input, il mascheramento delle etichette e la ponderazione hanno un'influenza più debole. La riduzione dell'entropia deriva dagli algoritmi di decodifica dei DLM, in particolare dal campionamento basato sulla confidenza.