CORA-Diff: Accelerazione senza addestramento per modelli linguistici a diffusione

I ricercatori hanno introdotto CORA-Diff, un metodo senza addestramento per accelerare l'inferenza nei modelli linguistici a diffusione (DLM). I DLM aggiornano più token in parallelo ma spesso utilizzano un orizzonte di denoising fisso, causando calcoli non necessari quando le previsioni si stabilizzano presto. CORA-Diff sfrutta i segnali di traiettoria nativi per identificare le posizioni residue che probabilmente corrispondono all'endpoint denso deterministico, applicando un gating basato su confidenza e persistenza solo alle posizioni non risolte. Questo metodo non richiede modifiche al backbone, modelli di accettazione appresi o modifiche ai logit, preservando la regola di trasferimento originale. L'approccio è fondato su una teoria che spiega perché le previsioni ad alta confidenza e persistenti hanno maggiori probabilità di essere corrette. L'articolo è disponibile su arXiv con identificatore 2608.11235.