GxP-Agent utilizza la topologia DAG di processo per raggiungere il 100% di accuratezza nella programmazione di studi clinici basata su LLM
GxP-Agent è un innovativo sistema multi-agente progettato per automatizzare la programmazione degli studi clinici, un compito in cui i principali modelli linguistici di grandi dimensioni hanno incontrato difficoltà. Questo sistema converte i protocolli di studio in dataset che soddisfano gli standard CDISC, essenziali per le sottomissioni regolatorie. In 11 prove che hanno coinvolto cinque diversi modelli, nessuno è riuscito a generare dataset validi. GxP-Agent impiega un grafo aciclico diretto (DAG) per scomporre la creazione del dataset in 15 nodi specifici, gestiti da agenti operativi dotati di gate di validazione e opzioni di retry. Valutato su CDISC-Bench, basato su CDISCPilot01 della FDA con 254 soggetti e 49 variabili, GxP-Agent ha raggiunto una corrispondenza strutturale perfetta del 100% utilizzando Claude Sonnet 4.6, mentre il baseline migliore ha ottenuto solo il 59,2% di accuratezza. La ricerca è pubblicata su arXiv (identificatore 2608.16890).
Fatti principali
- Nessun LLM ha prodotto un dataset di analisi a livello di soggetto valido in 11 tentativi singoli con cinque modelli di frontiera.
- GxP-Agent codifica l'ordinamento dei processi normativi come un grafo aciclico diretto (DAG).
- Il sistema scompone la generazione del dataset in 15 nodi specifici del dominio.
- Gli agenti operativi eseguono i nodi con contesto di competenza pharmaverse, gate di validazione e retry condizionale.
- CDISC-Bench è un nuovo benchmark basato sull'esecuzione derivato dall'invio pilota CDISCPilot01 della FDA.
- CDISCPilot01 include 254 soggetti e 49 variabili ADSL di ground truth.
- GxP-Agent con Claude Sonnet 4.6 ha raggiunto una corrispondenza strutturale del 100% (49/49 variabili, 254 record corretti) in tre esecuzioni.
- Il miglior baseline con recupero aumentato ha raggiunto solo il 59,2% di accuratezza.
- L'articolo è stato annunciato su arXiv con ID 2608.16890.
Entità
Istituzioni
- arXiv
- Clinical Data Interchange Standards Consortium (CDISC)
- U.S. Food and Drug Administration (FDA)
- pharmaverse