Guida Ammortizzata per l'Inpainting di Immagini con Modelli di Diffusione Pre-addestrati

I ricercatori introducono Amortized Inpainting with Diffusion (AID), un metodo per l'inpainting di immagini che utilizza modelli di diffusione pre-addestrati. A differenza degli approcci esistenti che addestrano modelli dedicati o si adattano per ogni immagine, AID mantiene fisso il backbone di diffusione e addestra offline un piccolo modulo di guida riutilizzabile. Questo modulo viene poi applicato su immagini mascherate senza ottimizzazione per istanza. Il problema è formulato come guida deterministica con un obiettivo terminale supervisionato, reso apprendibile tramite una formulazione gaussiana ausiliaria. Un algoritmo attore-critico a tempo continuo apprende il modulo di guida in modo basato sui dati. Esperimenti su AFHQv2 e FFHQ con pixel EDM dimostrano l'efficacia.