Nuova ricerca sull'IA propone il framework R²-dLLM per ridurre la ridondanza nei modelli linguistici di diffusione di grandi dimensioni

Un articolo di ricerca intitolato "R²-dLLM: Accelerating Diffusion Large Language Models via Spatio-Temporal Redundancy Reduction" è stato pubblicato su arXiv, identificato come arXiv:2604.18995v1. Questo studio affronta la significativa latenza di inferenza che ostacola l'implementazione efficace dei Diffusion Large Language Models (dLLM), che rappresentano un'alternativa valida alla generazione autoregressiva facilitando le previsioni parallele dei token. Gli autori hanno identificato che gran parte di questa inefficienza deriva dalla ridondanza ripetitiva nella fase di decodifica, inclusa la ridondanza spaziale dai cluster di confidenza e dall'ambiguità posizionale, insieme alla ridondanza temporale dal re-masking delle previsioni già stabilizzate. Per affrontare questi problemi, introducono R²-dLLM, un framework completo mirato a minimizzare la ridondanza di decodifica sia durante l'inferenza che l'addestramento. Per l'inferenza, offre regole di decodifica senza addestramento per consolidare la confidenza locale e le previsioni dei token, finalizzando i token stabili per eliminare passaggi di decodifica non necessari. Inoltre, suggeriscono un metodo di fine-tuning supervisionato consapevole della ridondanza per rafforzare le capacità di riduzione della ridondanza del modello durante l'addestramento. Questo articolo rientra nella categoria di annunci incrociati su arXiv.