Il fact-checking atomico aumenta la fiducia dei clinici nelle raccomandazioni AI in oncologia
Uno studio pubblicato su arXiv rivela che il fact-checking atomico aumenta notevolmente la fiducia che i clinici ripongono nelle raccomandazioni dei grandi modelli linguistici (LLM) per le decisioni oncologiche. La ricerca ha coinvolto 356 clinici che hanno fornito 7.476 valutazioni di fiducia. Scomponendo i suggerimenti terapeutici dell'AI in affermazioni separatamente verificabili associate a documenti guida di riferimento, il fact-checking atomico ha portato a un aumento significativo della fiducia (d di Cohen = 0,94), innalzando la percentuale di clinici fiduciosi dal 26,9% al 66,5%. Al contrario, i metodi tradizionali di trasparenza hanno mostrato un miglioramento graduale rispetto al basale (d da 0,25 a 0,50). Questi risultati indicano che disaggregare le raccomandazioni AI in affermazioni verificabili collegate alle linee guida produce una fiducia molto maggiore nei clinici rispetto ai metodi convenzionali di spiegabilità in scenari clinici critici.
Fatti principali
- Studio controllato randomizzato sul fact-checking atomico per raccomandazioni LLM in oncologia
- Partecipazione di 356 clinici, generando 7.476 valutazioni di fiducia
- Il fact-checking atomico ha aumentato la fiducia dal 26,9% al 66,5%
- d di Cohen = 0,94 per il fact-checking atomico
- I meccanismi tradizionali di trasparenza hanno mostrato d da 0,25 a 0,50
- Affermazioni collegate a documenti guida di riferimento
- Studio pubblicato su arXiv sotto Computer Science > Computation and Language
- Focus su decisioni cliniche ad alto rischio
Entità
Istituzioni
- arXiv