Adattamento Contestualizzato dell'Anatomia Migliora i Modelli Fondamentali per TC
Un nuovo framework leggero chiamato Adattamento Contestualizzato dell'Anatomia (ACA) migliora i modelli fondamentali visione-linguaggio per TC allineando le caratteristiche visive a livello anatomico con il testo, preservando al contempo il contesto globale. ACA adatta le rappresentazioni di modelli volumetrici congelati utilizzando TotalSegmentator per scomporre le scansioni TC in embedding a livello anatomico, raffinati tramite un trasformatore che cattura le relazioni tra diverse anatomie. Questo approccio evita l'addestramento da zero, riducendo i costi computazionali. Il metodo affronta le limitazioni dei pre-addestramenti a grana fine esistenti, che scartano il contesto globale e richiedono un riaddestramento completo. L'articolo è pubblicato su arXiv con ID 2607.27154.
Fatti principali
- ACA è un framework leggero per adattare modelli fondamentali per TC congelati.
- Utilizza TotalSegmentator per scomporre i volumi TC in embedding a livello anatomico.
- Un trasformatore raffina gli embedding per catturare le relazioni tra diverse anatomie.
- Allinea il testo a livello di singola anatomia e di scansione per l'allineamento visione-linguaggio.
- Evita l'addestramento da zero, riducendo i costi computazionali.
- Affronta la diluizione dei segnali anatomici a grana fine nei modelli volumetrici completi.
- Preserva il contesto globale che gli approcci a grana fine scartano.
- Pubblicato su arXiv con ID 2607.27154.
Entità
Istituzioni
- arXiv