TextSLIP: Potenziamento di CLIP con Auto-Supervisione Testuale per la Generazione di Referti Medici
Un nuovo framework chiamato TextSLIP è stato introdotto dai ricercatori, potenziando CLIP con apprendimento contrastivo testuale intra-modale per il pre-addestramento visione-linguaggio in campo medico. Mentre il CLIP tradizionale si concentra sull'allineamento di diverse modalità, non offre una struttura di embedding testuale dettagliata necessaria per generare referti complessi. TextSLIP migliora la discriminabilità degli embedding testuali utilizzando coppie di testo auto-supervisionate aumentate, che forniscono una guida linguistica più precisa al codificatore visivo. La validazione iniziale è condotta su un dataset appositamente curato comprendente 7 milioni di immagini di risonanza magnetica cerebrale. Questa ricerca è disponibile su arXiv (2607.21970v1) come cross-submission.
Fatti principali
- TextSLIP potenzia CLIP con apprendimento contrastivo testuale intra-modale.
- Il CLIP standard manca di una struttura di embedding testuale esplicita per la generazione di referti complessi.
- TextSLIP utilizza coppie di testo auto-supervisionate aumentate per migliorare la discriminabilità degli embedding testuali.
- La validazione iniziale utilizza un dataset curato di 7 milioni di immagini di risonanza magnetica cerebrale.
- L'articolo è su arXiv con ID 2607.21970v1.
- Il tipo di annuncio è cross.
Entità
Istituzioni
- arXiv