CheXmix: Pre-addestramento Generativo Unificato per Modelli Visione-Linguaggio Medici

I ricercatori hanno sviluppato un nuovo modello di IA chiamato CheXmix, che impiega una tecnica generativa di fusione precoce per l'imaging medico. A differenza dei tradizionali LLM multimodali che si basano su un encoder visivo pre-addestrato con CLIP e un layer di proiezione—spesso portando alla perdita di dettagli visivi cruciali per le diagnosi—CheXmix integra token di immagini e testo in un'unica sequenza, bypassando così il collo di bottiglia della proiezione. Il modello è addestrato su un ampio dataset di radiografie toraciche insieme a referti radiologici. Si basa sul framework autoregressivo di Chameleon, utilizzando un metodo di pre-addestramento generativo multimodale a due stadi che fonde il masked autoencoding con obiettivi autoregressivi, con l'obiettivo di mantenere le caratteristiche visive a grana fine vitali per valutazioni mediche precise.