MedSkillAudit: Un Framework per le Competenze degli Agenti di Ricerca Medica
MedSkillAudit è un framework di audit specifico per dominio per le competenze degli agenti di ricerca medica, sviluppato per valutare l'affidabilità rispetto alla revisione di esperti. Il framework valuta la prontezza al rilascio delle competenze prima della distribuzione in cinque categorie. Sono state testate 75 competenze, con due esperti che hanno assegnato punteggi di qualità, disposizioni di rilascio e flag di fallimento ad alto rischio. L'accordo è stato quantificato utilizzando ICC(2,1) e il kappa di Cohen.
Fatti principali
- MedSkillAudit è un framework di audit specifico per dominio per le competenze degli agenti di ricerca medica.
- Il framework valuta la prontezza al rilascio delle competenze prima della distribuzione.
- 75 competenze sono state valutate in cinque categorie di ricerca medica.
- Due esperti hanno assegnato indipendentemente punteggi di qualità, disposizioni di rilascio e flag di fallimento ad alto rischio.
- L'accordo è stato quantificato utilizzando ICC(2,1) e il kappa di Cohen con ponderazione lineare.
- Lo studio si concentra sull'affidabilità rispetto alla revisione di esperti.
- Le competenze degli agenti sono distribuite come unità di capacità modulari e riutilizzabili nei sistemi di agenti AI.
- Le competenze degli agenti di ricerca medica richiedono garanzie tra cui integrità scientifica e validità metodologica.
Entità
Istituzioni
- arXiv