TRaM-VSR: Super-risoluzione video efficiente in un solo passo tramite routing di token

I ricercatori hanno introdotto TRaM-VSR, un framework per il routing e il merging di token progettato per la super-risoluzione video con diffusione in un solo passo. Questo approccio innovativo affronta i costi computazionali quadratici associati a sequenze dense di token spazio-temporali nei Transformer di Diffusione (DiT). Integrando informazioni temporali sensibili al movimento con la similarità semantica del testo, valuta l'importanza dei token, consentendo la differenziazione di oggetti dinamici e confini strutturali. Un pianificatore offline regola l'importanza per facilitare il routing attraverso blocchi di rete raggruppati in modo ottimale, garantendo che i token strutturalmente vitali siano mantenuti all'interno di ciascun gruppo instradato. Questa tecnica mira a prevenire la perdita irreversibile di dettagli e lo sfarfallio temporale, comuni nei metodi orientati all'efficienza, in particolare nei modelli di diffusione a passo singolo. L'articolo è disponibile su arXiv.