DiLaDiff: Modello di Diffusione Latente Distillato per la Modellazione del Linguaggio

I ricercatori hanno introdotto DiLaDiff, una nuova variante dei modelli linguistici a diffusione mascherata che affronta il bilanciamento tra qualità del campionamento e throughput creando uno spazio latente continuo con funzioni semantiche. Questo modello è composto da tre elementi chiave: un auto-encoder messo a punto a partire da un modello linguistico a diffusione mascherata preesistente, un modello di diffusione latente che apprende il prior della distribuzione dell'encoder, e un modello di consistenza che distilla questo prior appreso in un modello generativo latente semplificato. I risultati indicano che il modello di diffusione guidato dal latente supera il baseline di diffusione mascherata in termini di prestazioni, accelerando anche l'inferenza. Inoltre, la distillazione per consistenza riduce significativamente i costi computazionali, rendendo la generazione latente quasi banale rispetto alla decodifica discreta.