RxEval: Benchmarking della Raccomandazione Farmacologica degli LLM

Un nuovo benchmark chiamato RxEval è stato sviluppato dai ricercatori per valutare i modelli linguistici di grandi dimensioni (LLM) nel contesto delle raccomandazioni farmacologiche per pazienti ricoverati. A differenza dei benchmark precedenti che si concentrano su ampi codici farmacologici a livello di ricovero, RxEval si rivolge al livello di prescrizione attraverso domande a scelta multipla. Ogni domanda include un profilo completo del paziente e una storia clinica cronologica, richiedendo la selezione di combinazioni precise di farmaco-dosaggio-via da prescrizioni reali, insieme a distrattori specifici per il paziente creati attraverso perturbazione della catena di ragionamento. Il benchmark presenta 1.547 domande su 584 pazienti, coprendo 18 categorie diagnostiche e 969 farmaci distinti. Una valutazione di 16 LLM rivela che RxEval è sia impegnativo che discriminante, con punteggi F1 compresi tra 0,2 e 0,6, sottolineando il divario tra le prestazioni attuali degli LLM e le esigenze del processo decisionale clinico.