NoiseRater: Un Framework di Meta-Apprendimento per la Valutazione Adattiva del Rumore nei Modelli di Diffusione

Una recente pubblicazione di ricerca presenta NoiseRater, un framework di meta-apprendimento volto a valutare il rumore a livello di istanza durante l'addestramento dei modelli di diffusione. Gli autori mettono in discussione la convinzione tradizionale che tutto il rumore iniettato porti lo stesso livello di informazione. Introducono un valutatore di rumore parametrico che fornisce punteggi di importanza per specifiche realizzazioni di rumore in base ai dati e al passo temporale, consentendo una riponderazione adattiva dell'obiettivo di addestramento. Utilizzando l'ottimizzazione bilevel, il valutatore viene addestrato per migliorare le prestazioni di validazione a valle dopo gli aggiornamenti di diffusione nel ciclo interno. Viene stabilita una pipeline efficiente in due fasi, passando da una ponderazione morbida nel meta-addestramento a una selezione dura del rumore nell'addestramento standard. Esperimenti completi su FFHQ e ImageNet rivelano che non tutti i campioni di rumore sono ugualmente utili.