Decodifica Guidata Primale-Duale per Diffusione Discreta Vincolata

Un nuovo metodo al momento dell'inferenza, la decodifica guidata primale-duale, consente ai modelli di diffusione discreta di imporre vincoli di proprietà globali durante lo smascheramento dei token senza riaddestramento. L'approccio formula la generazione vincolata come un problema di ottimizzazione regolarizzato con KL, risolto online tramite moltiplicatori di Lagrange adattivi. A ogni passo di denoising, i logit dei token vengono modificati da un bias additivo dipendente dal vincolo, con i moltiplicatori aggiornati tramite mirror descent in base alla violazione del vincolo. Il bias rappresenta la proiezione ottimale regolarizzata con KL del vincolo, mantenendo la distribuzione vincolata il più vicino possibile al modello non vincolato soddisfacendo i vincoli. Il metodo supporta vincoli multipli simultanei, non richiede valutazioni aggiuntive del modello oltre al campionamento standard e fornisce limiti formali sulla soddisfazione dei vincoli. Questo affronta una sfida chiave nella generazione di sequenze strutturate con proprietà globali.