DualDiT: Un Diffusion Transformer per la Generazione Congiunta di Immagini OCT e Maschere di Segmentazione
Un nuovo modello chiamato DualDiT è stato sviluppato dai ricercatori; è un Diffusion Transformer condizionale a doppia uscita progettato per generare simultaneamente B-scan di tomografia a coerenza ottica (OCT) e maschere di segmentazione per gli strati cellulari superiori della retina in retina di topo ex vivo. Questa innovazione affronta la sfida dei dati limitati di imaging medico annotati, specialmente nell'OCT di occhi di topo, dove la delineazione manuale degli strati retinici è sia dispendiosa in termini di tempo che richiede competenze specializzate. Mentre i modelli di diffusione hanno mostrato potenziale nella creazione di immagini mediche, la maggior parte della sintesi congiunta immagine-maschera si è basata su denoiser basati su U-Net, lasciando i diffusion transformer sottoutilizzati. DualDiT utilizza un VAE pre-addestrato per codificare entrambe le modalità in uno spazio latente condiviso, concatena le loro rappresentazioni e applica la diffusione condizionale sul tensore combinato. L'articolo è disponibile su arXiv con identificativo 2607.29337.
Fatti principali
- DualDiT è un Diffusion Transformer condizionale a doppia uscita per la generazione congiunta di immagini OCT e maschere di segmentazione.
- Il modello si concentra su B-scan OCT e maschere di segmentazione degli strati cellulari superiori della retina in retina di topo ex vivo.
- Affronta la carenza di dati annotati nell'imaging medico, in particolare nell'OCT di occhi di topo.
- La delineazione manuale degli strati retinici è laboriosa a causa delle strutture minuscole e delle competenze richieste.
- I modelli di diffusione funzionano bene nella sintesi di immagini mediche, ma la generazione congiunta immagine-maschera si è basata principalmente su denoiser basati su U-Net.
- DualDiT codifica entrambe le modalità in uno spazio latente condiviso tramite un VAE pre-addestrato.
- Concatena le rappresentazioni latenti e esegue la diffusione condizionale sul tensore congiunto.
- L'articolo è disponibile su arXiv con identificativo 2607.29337.
Entità
Istituzioni
- arXiv