I LLM a diffusione mascherata falliscono nei compiti di ragionamento a causa dell'ordine di impegno

Uno studio recente pubblicato su arXiv (2608.05687) indica che i modelli linguistici a diffusione mascherata (dLLM), capaci di impegnare token in qualsiasi sequenza, hanno difficoltà nei compiti di ragionamento. La ricerca che coinvolge LLaDA-8B dimostra che la decodifica senza restrizioni spesso porta a impegnare la risposta finale prematuramente (15-24% della traiettoria), mentre una parte significativa dell'area di ragionamento rimane mascherata. Di conseguenza, output di sola risposta si verificano in fino al 90% dei casi man mano che la tela si espande. La sfida non risiede nelle convinzioni di terminazione del modello, ma nella raggiungibilità—se il campionatore può operare su quelle convinzioni in posizioni lontane. Un framework prompt-decodificatore 2x2 rivela che la catena di pensiero giova solo sotto un impegno ordinato, mostrando un aumento dell'interazione di +34,8 punti percentuali (IC 95% [26,8, 42,8]). Lo studio analizza ulteriormente questa interazione, facendo luce sui difetti dei dLLM nei compiti di ragionamento.