Il campionamento non monotono non migliora i modelli di diffusione
Un nuovo studio verifica sistematicamente se la riduzione monotona del rumore nei modelli di diffusione sia necessaria. I ricercatori hanno progettato quattro famiglie di programmi non monotoni e li hanno testati su DDPM, EDM e Flow Matching in 90 configurazioni su CIFAR-10. Nessuno ha superato la linea di base monotona, sebbene l'entità della penalità variasse. Il lavoro mette in discussione un'ipotesi fondamentale nella modellazione generativa.
Fatti principali
- I modelli di diffusione utilizzano tradizionalmente livelli di rumore decrescenti in modo monotono.
- Lo studio ha testato programmi non monotoni su DDPM, EDM e Flow Matching.
- Gli esperimenti hanno coperto budget NFE da 10 a 200 valutazioni di funzione.
- È stata eseguita un'ablazione degli iperparametri su 42 celle.
- Tutte le 90 configurazioni non hanno mostrato miglioramenti rispetto al campionamento monotono.
- L'entità della penalità variava tra le configurazioni.
- La ricerca è stata pubblicata su arXiv con ID 2605.11773.
- Lo studio ha utilizzato CIFAR-10 come dataset.
Entità
Istituzioni
- arXiv