MedCheck: Un quadro di valutazione del ciclo di vita per i benchmark medici dei LLM

I ricercatori hanno introdotto MedCheck, un quadro di valutazione orientato al ciclo di vita progettato per valutare l'affidabilità dei benchmark medici per i modelli linguistici di grandi dimensioni (LLM). Il quadro scompone lo sviluppo dei benchmark in cinque fasi continue, dalla progettazione alla governance, e fornisce una checklist di 46 criteri su misura per il settore medico. Una valutazione empirica di 53 benchmark medici per LLM utilizzando MedCheck ha rivelato problemi sistemici diffusi, tra cui un distacco dalla pratica clinica, crisi di integrità dei dati dovute a rischi di contaminazione e una sistematica trascuratezza delle metriche di sicurezza. Lo studio sottolinea la necessità di metodi di valutazione più fedeli alla clinica e orientati alla sicurezza nell'IA sanitaria.