CliniCARE-Bench: Nuovo Benchmark per l'Audit Clinico nella Cartella Clinica Elettronica

Un nuovo benchmark chiamato CliniCARE-Bench (Clinical Calibrated Audit of Medical Reasoning in EHR) è stato sviluppato da ricercatori per valutare i modelli linguistici di grandi dimensioni (LLM) nell'esecuzione di audit retrospettivi dei dati clinici utilizzando le cartelle cliniche elettroniche (EHR). Questo benchmark include 25 scenari validati da clinici, rappresentati come 750 casi specifici per paziente provenienti dal dataset MIMIC-IV, che contiene informazioni reali sui pazienti. I sistemi devono analizzare ogni caso in un ambiente controllato e registrato per il recupero dei dati, il calcolo e l'accesso alle policy, fornendo infine uno di quattro esiti: Sì, No, Indeterminato: Mancanza di Dati, o Indeterminato: Medicalmente Ambiguo. Questi ultimi due esiti aiutano a distinguere tra assenza di prove e incertezza medica. Questo benchmark è cruciale per garantire che gli LLM possano condurre indagini affidabili su record longitudinali diversificati, determinando le prove necessarie, recuperando dati strutturati e non strutturati, basando le conclusioni su prove verificabili e gestendo i casi irrisolti. Questa ricerca è pertinente all'integrazione dell'IA negli ambienti clinici, sottolineando l'importanza dell'affidabilità e della responsabilità. Lo studio è disponibile su arXiv con l'identificatore 2608.07796.