SCOUT: Trasformatore Multimodale Sensibile al Contesto per la Generazione di Referti Patologici
SCOUT è un framework multimodale progettato per generare referti patologici, tenendo conto del contesto e di concetti fondati. Affronta le complessità della patologia computazionale derivanti da immagini di intere sezioni (WSI), che presentano alta risoluzione e scale diverse. Mentre i modelli di base patologici esistenti possono creare referti coerenti, spesso mancano di rilevanza clinica, non riuscendo a rappresentare accuratamente i concetti diagnostici essenziali e le loro interrelazioni. Condizionando progressivamente le rappresentazioni delle immagini con dati globali della sezione e concetti diagnostici specifici, SCOUT mira a migliorare l'interpretabilità e la rilevanza clinica. Il framework combina varie evidenze visive, che vanno dai dettagliati pattern cellulari all'architettura tissutale complessiva e alle idee diagnostiche di livello superiore, con l'obiettivo di fornire referti che rappresentino più accuratamente le intuizioni dei patologi.
Fatti principali
- 1. SCOUT è un framework multimodale sensibile al contesto e basato su concetti per la generazione di referti patologici.
- 2. Le immagini di intere sezioni (WSI) presentano sfide a causa dell'estrema risoluzione e dell'eterogeneità multi-scala.
- 3. Gli attuali modelli di base patologici mancano di fondamento clinico nella generazione di referti.
- 4. SCOUT consente il condizionamento progressivo delle rappresentazioni delle immagini mediante informazioni globali della sezione e concetti diagnostici espliciti.
- 5. Il framework integra evidenze visive dai pattern cellulari all'architettura tissutale e ai concetti diagnostici.
- 6. SCOUT mira a migliorare l'interpretabilità e la coerenza clinica dei referti generati.
- 7. L'approccio è progettato per produrre referti clinicamente affidabili che riflettano le osservazioni dei patologi.
- 8. L'articolo è disponibile su arXiv con ID 2605.01144.
Entità
Istituzioni
- arXiv