Rubriche redatte da clinici per la valutazione di sistemi di IA clinica

Un recente studio presenta una metodologia specializzata di rubriche progettata per valutare i sistemi di documentazione clinica basati sull'IA, concentrandosi sul raggiungimento di un equilibrio tra validità clinica, fattibilità economica e reattività ai cambiamenti in corso. In totale, 1.646 rubriche sono state create da venti clinici per 823 casi clinici, che includevano 736 casi reali e 87 sintetici, coprendo medicina generale, psichiatria, oncologia e salute comportamentale. La validazione ha comportato la conferma che un agente di punteggio basato su LLM valutasse costantemente gli output preferiti dai clinici più alti di quelli rifiutati. La ricerca ha valutato sette iterazioni di un agente IA integrato nella cartella clinica elettronica (EHR), indagando se le rubriche generate da LLM potessero riflettere il consenso dei clinici, affrontando così le sfide delle valutazioni esperte costose e dispendiose in termini di tempo. I risultati hanno indicato che le rubriche redatte da clinici hanno distinto con successo tra output di alta e bassa qualità, facilitando un'implementazione iterativa più sicura dell'IA clinica riducendo la necessità di valutazioni manuali da parte di esperti.