I Modelli di Diffusione Video Codificano Segnali di Plausibilità Fisica
Una recente indagine pubblicata su arXiv (ID 2603.14294) esplora la capacità dei modelli di diffusione video di catturare segnali indicativi di plausibilità fisica. I ricercatori hanno esaminato le rappresentazioni intermedie di denoising di Diffusion Transformers (DiT) pre-addestrati e hanno scoperto che i video considerati fisicamente plausibili possono essere parzialmente distinti da quelli che non lo sono, anche in presenza di elevati livelli di rumore. I controlli per la provenienza e la qualità percettiva indicano che questo segnale non è determinato esclusivamente dall'identità del generatore o dalla qualità visiva complessiva. Il team ha creato un verificatore di fisica compatto e specifico per l'architettura, utilizzando due strategie complementari di inferenza all'interno di un framework a traiettorie multiple fisso: selezione progressiva della traiettoria e guida tramite gradiente di ricompensa. Gli esperimenti sono stati condotti sui benchmark PhyGenBench e Physics-IQ, rivelando che i modelli di diffusione possono apprendere intrinsecamente principi fisici, migliorando il realismo dei video generati. L'articolo completo è disponibile su https://arxiv.org/abs/2603.14294.
Fatti principali
- Lo studio esamina le rappresentazioni intermedie di denoising di Diffusion Transformers (DiT) pre-addestrati.
- I video fisicamente plausibili e non plausibili sono parzialmente separabili nello spazio delle caratteristiche dei livelli intermedi ad alti livelli di rumore.
- Il segnale non è completamente spiegato dall'identità del generatore o dalla qualità visiva generica.
- Il segnale è stato distillato in un verificatore di fisica leggero e specifico per l'architettura, addestrato su caratteristiche congelate.
- Due meccanismi di inferenza: selezione progressiva della traiettoria e guida tramite gradiente di ricompensa.
- Esperimenti condotti sui benchmark PhyGenBench e Physics-IQ.
- L'articolo è disponibile su arXiv con ID 2603.14294.
- I risultati suggeriscono che i modelli di diffusione codificano implicitamente la plausibilità fisica.
Entità
Istituzioni
- arXiv