Medmarks: Suite di Benchmark Open-Source per LLM in Ambito Medico

Medmarks, un framework open-source di recente lancio, mira a valutare i grandi modelli linguistici (LLM) nel settore sanitario. Sviluppato per affrontare problemi come la saturazione dei benchmark e l'accesso limitato ai dati, offre 30 benchmark mirati a vari compiti medici, come il ragionamento clinico e l'estrazione di informazioni. È stata condotta una valutazione di 61 modelli diversi in 71 configurazioni utilizzando metriche consolidate. I risultati hanno rivelato che modelli come Gemini 3 Pro Preview e GPT-5.1 hanno dimostrato capacità di ragionamento superiori, mentre i modelli proprietari hanno mostrato una maggiore efficienza nei token. In particolare, i modelli medici specializzati hanno superato le loro controparti generali in vari compiti.