AdvDMD unifica distillazione DMD e RL per generazione in pochi passi
AdvDMD è una tecnica innovativa che fonde la Distribution Matching Distillation (DMD) con l'apprendimento per rinforzo per migliorare la qualità della generazione di immagini in pochi passi. A differenza dei metodi tradizionali che complicano il processo combinando RL e distillazione, AdvDMD utilizza il discriminatore addestrato in modo avversariale di DMD2 come modello di ricompensa, assegnando punteggi bassi alle immagini generate e punteggi alti a quelle autentiche. Questo approccio viene addestrato sia su output intermedi che finali, con l'obiettivo di superare le prestazioni del modello insegnante richiedendo meno passaggi di campionamento.
Fatti principali
- AdvDMD unifica la distillazione DMD e l'apprendimento per rinforzo
- Utilizza il discriminatore addestrato in modo avversariale di DMD2 come modello di ricompensa
- Assegna punteggi bassi alle immagini generate, punteggi alti a quelle reali
- Addestrato sia su output intermedi che finali
- Mira a superare le prestazioni del modello insegnante con meno passaggi
- Affronta il degrado delle prestazioni nella generazione in pochi passi
- Semplifica gli approcci combinatori esistenti
- Pubblicato su arXiv (2604.28126)
Entità
Istituzioni
- arXiv