MetaSR: Metadati adattivi per super-risoluzione generativa
MetaSR, un nuovo framework basato su un Diffusion Transformer (DiT), affronta la sfida della super-risoluzione (SR) generativa in contesti reali dove i tipi di contenuto e degrado variano per dominio, genere e segmento. Gli approcci tradizionali di SR guidati da metadati implementano un design di condizionamento statico, che si rivela inadeguato quando gli indizi utili dipendono dal contenuto e i budget di trasmissione sono limitati. Invece, MetaSR seleziona e incorpora intelligentemente metadati specifici per il compito per guidare la SR gestendo al contempo le limitazioni delle risorse. Sfrutta il VAE e il backbone transformer del DiT per integrare metadati eterogenei e impiega un metodo di distillazione efficiente per l'inferenza di diffusione in un unico passo. I test su varie categorie di contenuto e condizioni di degrado rivelano che MetaSR supera le soluzioni di riferimento esistenti.
Fatti principali
- 1. MetaSR è un framework basato su Diffusion Transformer (DiT) per la super-risoluzione generativa.
- 2. Affronta le variazioni di contenuto e degrado tra domini, generi e segmenti.
- 3. I metodi esistenti di SR guidati da metadati utilizzano un design di condizionamento fisso, che è subottimale.
- 4. MetaSR seleziona e inietta metadati rilevanti per il compito per guidare la SR sotto vincoli di risorse.
- 5. Utilizza il VAE e il backbone transformer del DiT per fondere metadati eterogenei.
- 6. Una strategia di distillazione efficiente consente l'inferenza di diffusione in un unico passo.
- 7. Gli esperimenti mostrano che MetaSR supera le soluzioni di riferimento in diversi regimi di contenuto e degrado.
- 8. L'articolo è pubblicato su arXiv con ID 2604.26244.
Entità
Istituzioni
- arXiv