NoiseShift: Metodo Senza Addestramento Migliora la Generazione di Immagini da Testo a Bassa Risoluzione
Un nuovo metodo chiamato NoiseShift affronta il degrado dei modelli di diffusione testo-immagine quando generano a risoluzioni inferiori. I lavori precedenti si concentravano sulla generazione ad alta risoluzione, ma NoiseShift mira all'inferenza a bassa risoluzione per ridurre il costo computazionale. L'intuizione chiave è che lo stesso livello di rumore programmato può corrispondere a una diversa corruzione percettiva a risoluzioni inferiori, causando un disallineamento tra addestramento e test. NoiseShift ricalibra il condizionamento del rumore reindicizzando l'embedding del rumore del denoiser senza modificare lo schema di campionamento o richiedere addestramento aggiuntivo. Ciò ripristina l'allineamento del processo forward locale e migliora la qualità dell'immagine a risoluzioni ridotte.
Fatti principali
- NoiseShift è un metodo di ricalibrazione senza addestramento per la generazione di immagini a bassa risoluzione.
- Affronta il disallineamento tra addestramento e test nel condizionamento del rumore per i modelli di diffusione.
- Il metodo mantiene invariato lo schema di campionamento del rumore originale.
- Reindicizza il condizionamento del rumore del denoiser.
- Mira alla generazione a risoluzione inferiore per ridurre il costo computazionale.
- I lavori precedenti enfatizzavano la generazione a risoluzione più alta.
- Lo stesso livello di rumore programmato può corrispondere a una diversa corruzione percettiva a risoluzioni inferiori.
- NoiseShift ripristina l'allineamento del processo forward locale.
Entità
—