Director-Experts: Rete Modulare per la Visione Medica Multi-Modalità
Una nuova architettura di rete modulare chiamata Director-Experts (DEX) affronta la sfida delle statistiche delle caratteristiche Non-IID nei modelli fondativi di visione medica multi-modalità. DEX regola la specializzazione e il coordinamento in moduli impilati, ciascuno contenente un pool di esperti che si specializzano nelle statistiche dominanti della modalità tramite una strategia di attivazione per immagine, e un direttore che distilla la conoscenza multi-esperto in uno spazio condiviso utilizzando la media mobile esponenziale di gruppo. Questo approccio mira a prevenire il collasso della rappresentazione verso scorciatoie dominanti della modalità, consentendo rappresentazioni modulari emergenti per l'integrazione semantica tra modalità di imaging eterogenee.
Fatti principali
- 1. arXiv:2605.21861
- 2. I modelli fondativi di visione medica multi-modalità affrontano statistiche delle caratteristiche Non-IID
- 3. L'ottimizzazione auto-supervisionata monolitica induce gradienti conflittuali
- 4. Le rappresentazioni collassano verso scorciatoie dominanti della modalità
- 5. Director-Experts (DEX) è una rete modulare
- 6. Ogni modulo DEX ha un pool di esperti e un direttore
- 7. Strategia di attivazione per immagine per la specializzazione degli esperti
- 8. Media mobile esponenziale di gruppo per l'aggiornamento del direttore
Entità
Istituzioni
- arXiv