Il Causal Sensitivity Score Rivela Profili di Capacità Nascosti nei LLM Clinici

Uno studio recente ha presentato il Causal Sensitivity Score (CSS), una metrica pre-registrata progettata per valutare i sistemi di IA clinica alterando i casi di tumor board oncologici lungo cinque dimensioni significative: modifiche dei biomarcatori, fallimenti nei trattamenti precedenti, rimozione dei biomarcatori, cambiamenti nello stato chirurgico e variazioni dello stadio. Il CSS utilizza un sistema di punteggio {0, 0.5, 1.0} per determinare se i modelli adattano le loro raccomandazioni in modo appropriato. Valutato rispetto al Consensus Match Score (CMS), una metrica di richiamo ponderata focalizzata sulla copertura, sei modelli avanzati provenienti da tre diversi laboratori sono stati testati su 224 casi. I risultati rivelano che, mentre i modelli possono ottenere punteggi simili sulle metriche basate sulla copertura, le loro risposte a input mutevoli dei pazienti possono differire drasticamente. In particolare, il modello con il punteggio CMS più basso si è classificato al primo posto nel CSS. Questo studio sottolinea i limiti delle metriche basate sulla copertura nell'IA clinica, sostenendo l'uso di metriche interventistiche come il CSS per valutare accuratamente le prestazioni reali.