I Modelli Linguistici Multimodali di Grandi Dimensioni Falliscono nella Dermatologia Reale

Uno studio che valuta i modelli linguistici multimodali di grandi dimensioni (MLLM) in compiti dermatologici reali rivela un calo significativo delle prestazioni rispetto ai benchmark pubblici. I ricercatori hanno testato quattro modelli open-weight (InternVL-Chat v1.5, LLaVA-Med v1.5, SkinGPT4, MedGemma-4B-Instruct) e GPT-4.1 su tre dataset pubblici e una coorte ospedaliera multi-sede di 5.811 casi con 46.405 immagini. Sui benchmark pubblici, GPT-4.1 ha raggiunto un'accuratezza diagnostica top-3 del 42,25%, mentre il miglior modello open-weight ha raggiunto il 26,55%. Nella coorte reale, le prestazioni sono diminuite sostanzialmente. Lo studio evidenzia il divario tra il successo nei benchmark e l'applicabilità clinica, sottolineando la necessità di una valutazione più rigorosa prima di implementare gli MLLM in dermatologia.