MedFact: Benchmark cinese per il fact-checking medico dei LLM

MedFact è stato sviluppato da ricercatori come benchmark per valutare le capacità di fact-checking dei grandi modelli linguistici (LLM) specificamente per la letteratura medica cinese. Questo dataset include 2.116 istanze annotate da esperti in vari contesti reali, coprendo 13 specialità mediche, 8 tipi di errori, 4 stili di scrittura e 5 livelli di difficoltà. È stata impiegata una combinazione di AI e input umano, con feedback iterativo da parte di esperti, per mantenere un'alta qualità. Valutando 20 LLM di spicco, è emerso che, sebbene questi modelli possano identificare errori, spesso non riescono a localizzarli con precisione, e i migliori modelli non raggiungono la precisione umana. Inoltre, la ricerca ha scoperto una tendenza dei modelli a etichettare erroneamente informazioni accurate come false.