AVIS: Modello di Diffusione Autoregressivo per il Restauro Video in Tempo Reale
Un team di ricercatori ha presentato AVIS (Autoregressive Video Inverse problem Solver), un sistema che sfrutta modelli di diffusione video autoregressivi per migliorare il restauro video in tempo reale. Questa innovazione riduce la latenza iniziale da 114 secondi a soli 4 secondi e aumenta il throughput da 0,71 a 1,18 fotogrammi al secondo (FPS). AVIS avvia la diffusione inversa con una stima coerente con le misurazioni per minimizzare il numero di passaggi di campionamento necessari. Inoltre, viene presentata una versione più rapida chiamata AVIS Flash. Questa ricerca affronta le sfide associate ai problemi inversi video zero-shot, puntando a un'applicazione efficace in tempo reale.
Fatti principali
- AVIS riduce la latenza iniziale da 114s a 4s.
- AVIS aumenta il throughput da 0,71 a 1,18 FPS.
- AVIS utilizza modelli di diffusione video autoregressivi per il restauro in streaming.
- AVIS inizializza la diffusione inversa con una stima coerente con le misurazioni.
- AVIS Flash è una variante altamente accelerata.
- Il framework elimina i colli di bottiglia di latenza nei problemi inversi video.
- AVIS raggiunge una qualità di restauro superiore rispetto ai risolutori non autoregressivi.
- Il metodo riduce i passaggi di campionamento necessari.
Entità
—