I modelli di diffusione mascherata danno priorità alle entità nella generazione da grafo a testo

Un recente studio disponibile su arXiv (2605.31564) segna il primo esame completo dei modelli linguistici a diffusione mascherata (MDLM) nel contesto della generazione da grafo a testo. I ricercatori hanno scoperto che gli MDLM rivelano i token in una sequenza unica: iniziando con le entità, seguite da parole relazionali e funzionali, e concludendo con token strutturali. Questo approccio differisce dalla generazione lineare osservata nei LLM autoregressivi. Inoltre, lo studio ha scoperto una modalità di fallimento non riportata nel fine-tuning supervisionato (SFT), che interrompe la strategia di smascheramento dei token fissando prematuramente i token strutturali di fine frase, portando a problemi di lunghezza dell'output e potenziali omissioni o allucinazioni. Per affrontare questo problema, gli autori suggeriscono il decoding strutturale scalato lambda, una modifica che riduce il peso della confidenza dei token strutturali, ottenendo un miglioramento di +9.4 nel punteggio BLEU-4. Inoltre, lo studio introduce Graph-LLaDA, che combina un encoder di grafi con LLaDA per prestazioni migliorate.