Migliorare il Realismo dei Benchmark Clinici Sintetici sotto Vincoli di Utilità

Un recente articolo su arXiv (2608.06265v1) affronta il problema dei benchmark clinici sintetici per agenti AI aziendali che, pur superando le valutazioni di utilità, mancano di realismo strutturale, specialmente in ambienti sanitari sensibili alla privacy con dati operativi limitati. Gli autori introducono una strategia per rivedere i benchmark per migliorare il realismo entro i vincoli di utilità, concentrandosi sulla modifica dei dataset per aumentare il realismo senza compromettere l'utilità operativa. Questo approccio viene applicato a un benchmark di care-gap creato da pazienti generati da Synthea, elaborati attraverso flussi di lavoro EHR dimostrativi, rispecchiando il pipeline utilizzato per i dati operativi. Il realismo viene valutato in base alla struttura di missingness, semplicità, plausibilità strutturale e allineamento della popolazione. Il benchmark iniziale è descritto come estremamente sparso, con una missingness a coppie campionate del 79,44% e solo il 12,75% delle righe attive. L'articolo è accessibile su arXiv.