ParseFIxLIP: Il Tree-Gram Parsing Migliora l'Interpretabilità di BiomedCLIP
Un nuovo metodo chiamato ParseFIxLIP migliora l'interpretabilità dei modelli visione-linguaggio (VLM) in ambito medico affrontando la frammentazione della tokenizzazione. L'approccio integra il Tree-Gram Parsing nel gioco di interazione di Banzhaf utilizzato dal framework FIxLIP. Questa strategia semanticamente informata utilizza alberi di parsing di dipendenza per evitare che concetti clinici come 'saddle embolus' vengano suddivisi in sottoparole prive di significato, che in precedenza causavano attribuzioni cross-modali rumorose e un'esplosione combinatoria di interazioni. Il lavoro è dettagliato nell'articolo arXiv 2607.23368v1, con l'obiettivo di fornire spiegazioni fedeli per un'implementazione responsabile in contesti clinici.
Fatti principali
- ParseFIxLIP estende FIxLIP incorporando il Tree-Gram Parsing
- Affronta la frammentazione della tokenizzazione nei VLM per compiti medici
- Utilizza alberi di parsing di dipendenza per preservare i concetti clinici
- Mira a migliorare l'interpretabilità per un'implementazione clinica responsabile
- Descritto nell'articolo arXiv 2607.23368v1
Entità
Istituzioni
- arXiv