JMed48k: Benchmark per la Licenza Medica Giapponese per VLM

Un nuovo benchmark chiamato JMed48k è stato sviluppato da ricercatori per valutare i modelli visione-linguaggio nel contesto della licenza sanitaria giapponese. Questo dataset, derivato da documenti PDF ufficiali del Ministero della Salute, del Lavoro e del Welfare del Giappone, comprende 48.862 domande d'esame e 20.142 immagini provenienti da 11 esami di licenza nazionale condotti tra il 2005 e il 2025, con elementi visivi categorizzati utilizzando una tassonomia a 8 tipi. Inoltre, un sottoinsieme chiamato JMed48k-Eval presenta 12.484 domande valutate degli ultimi cinque anni, incluse 9.905 domande solo testuali e 2.579 con immagini. Il team di ricerca ha analizzato 21 modelli—sia proprietari che open-source—riportando le loro prestazioni su domande solo testuali e con immagini. Un audit di rimozione delle immagini accoppiato ha valutato quattro stati di transizione delle risposte confrontando domande con e senza immagini.