Studio Confronta le Prestazioni di una Giuria di LLM con i Panel Clinici nella Valutazione delle Diagnosi Mediche

Uno studio ha indagato il potenziale dei grandi modelli linguistici (LLM) come valutatori alternativi per i sistemi di intelligenza artificiale medica, un compito tipicamente gestito da panel di esperti clinici costosi e dispendiosi in termini di tempo. La ricerca ha utilizzato una giuria di LLM composta da tre modelli di IA avanzati, che hanno valutato 3.333 diagnosi provenienti da 300 casi ospedalieri reali in una nazione a medio reddito. Le loro prestazioni sono state confrontate con quelle di un panel di esperti clinici e di un gruppo indipendente di riscoraggio umano. Sia gli LLM che i clinici sono stati valutati secondo quattro criteri: diagnosi, diagnosi differenziale, ragionamento clinico e rischio di trattamento negativo. I risultati hanno mostrato che i punteggi non calibrati degli LLM erano costantemente inferiori a quelli dei clinici, eppure la giuria di LLM ha mantenuto un accordo ordinale e ha mostrato un migliore allineamento con le metriche di valutazione chiave. Questo studio, presente nella preprint arXiv 2604.14892v2, evidenzia la capacità degli LLM di migliorare i processi di valutazione dell'IA medica.