Meccanismo di Collasso e Raffinamento Spiega l'Apprendimento dei Modelli di Diffusione su Varietà
Un recente studio teorico pubblicato su arXiv (2605.20235) rivela un meccanismo di collasso e raffinamento nei modelli di diffusione applicabili a dati situati su varietà a bassa dimensionalità. Quando i livelli di rumore sono bassi, la singolarità della funzione score porta a un rapido collasso dimensionale della mappa di denoising sulla varietà dei dati. A livelli di rumore moderati, il processo di addestramento migliora la densità intrinseca sulla varietà appresa. Gli autori introducono Score-induced Latent Diffusion (SiLD), un framework a due fasi che integra sia l'apprendimento della varietà che la stima della densità attraverso un obiettivo unificato di score matching per denoising, eliminando la regolarizzazione KL utilizzata nei modelli di diffusione latente basati su VAE. Lo studio dimostra che la complessità del campione dipende dalla dimensione intrinseca, evitando la maledizione della dimensionalità.
Fatti principali
- L'articolo arXiv:2605.20235 identifica un meccanismo di collasso e raffinamento nei modelli di diffusione
- Il meccanismo è guidato dalla geometria della funzione score a diverse scale di rumore
- A scale di rumore piccole: la singolarità divergente causa un collasso dimensionale sulla varietà dei dati
- A scale di rumore moderate: l'addestramento raffina la densità intrinseca sulla varietà appresa
- Propone il framework Score-induced Latent Diffusion (SiLD)
- SiLD sostituisce la regolarizzazione KL dei modelli di diffusione latente basati su VAE
- La complessità del campione dipende dalla dimensione intrinseca, non da quella ambientale
- Supera la maledizione della dimensionalità per dati su varietà a bassa dimensionalità
Entità
Istituzioni
- arXiv