GraphRareBench: Un Benchmark per la Diagnosi di Malattie Rare
GraphRareBench è un nuovo benchmark per la diagnosi di malattie rare basata sul fenotipo, introdotto in arXiv:2607.24878. Contiene 2.365 casi derivati da ontologie e 18.093 coppie target-confounder, ciascuna con query HPO semplificate, pool di candidati fissi, confounder difficili definiti dal grafo e record di prove collegati alla fonte. Su una suddivisione di test di 237 casi, i classificatori supervisionati hanno ottenuto MRR compresi tra 0,640 e 0,740 e accuratezze target-su-confounder tra 0,898 e 0,916. Gli agenti che utilizzano Agents-A1 e DeepSeek-V4-Flash hanno raggiunto MRR di 0,746 e 0,718, senza differenze significative nell'MRR accoppiato ma con differenze nella copertura delle prove target.
Fatti principali
- GraphRareBench è un benchmark che preserva la provenienza per la diagnosi di malattie rare.
- Include 2.365 casi derivati da ontologie e 18.093 coppie target-confounder.
- Ogni caso ha una query HPO semplificata, un pool di candidati fisso, confounder difficili definiti dal grafo e record di prove collegati alla fonte.
- I classificatori supervisionati hanno ottenuto MRR da 0,640 a 0,740 sulla suddivisione di test.
- Le accuratezze target-su-confounder variavano da 0,898 a 0,916.
- Agents-A1 e DeepSeek-V4-Flash hanno raggiunto MRR di 0,746 e 0,718.
- La differenza nell'MRR accoppiato tra gli agenti non era statisticamente significativa.
- La copertura delle prove target differiva tra i due agenti.
Entità
—