MedUP: Un Nuovo Modello Visione-Linguaggio Medico che Unifica Percezione e Comprensione

Un team di ricercatori ha presentato MedUP, un innovativo Modello Visione-Linguaggio Medico (Med-VLM) che integra percezione e comprensione in un quadro token comune. Questo modello affronta i problemi legati alla percezione visiva accurata, alla segmentazione e al grounding che i Med-VLM attuali incontrano. I metodi convenzionali tipicamente esprimono le regioni come stringhe di coordinate o dipendono da moduli esterni, portando a lacune nell'allineamento regione-linguaggio. La caratteristica distintiva di MedUP è UniMedTok, un tokenizer di regioni che trasforma le maschere in token discreti nel vocabolario LLM, consentendo un'integrazione senza soluzione di continuità dei token maschera con il testo. I ricercatori hanno compilato UniMed-Train, un dataset sostanzioso di 1,84 milioni di istanze che comprende segmentazione guidata dal testo, comprensione ancorata alla regione, VQA medica e segmentazione a catena di pensiero (CoT). Hanno anche sviluppato UniMed-Bench per una valutazione completa. Test rigorosi mostrano che MedUP supera i Med-VLM nativi, agentici e a doppio decodificatore su tutte le metriche. L'articolo è disponibile su arXiv con l'identificatore 2608.10635.