AcuityBench: Nuovo Benchmark Testa i Modelli Linguistici sull'Urgenza Medica
AcuityBench è stato sviluppato da ricercatori come benchmark per valutare l'efficacia con cui i modelli linguistici possono determinare l'urgenza delle cure in base alle presentazioni mediche degli utenti. A differenza dei benchmark sanitari tradizionali che si concentrano su specifici compiti di triage o risposte a domande mediche, AcuityBench offre una valutazione completa integrando cinque dataset pubblici che comprendono conversazioni con utenti, vignette cliniche, discussioni su forum online e messaggi da portali pazienti. Utilizzando un quadro di riferimento standardizzato a quattro livelli di urgenza, che va dal monitoraggio domiciliare alle cure di emergenza urgenti. Il benchmark include 914 casi: 697 per la valutazione standard dell'accuratezza e 217 casi ambigui confermati da medici per valutare l'incertezza. AcuityBench presenta due formati di compito: classificazione esplicita a quattro vie in un contesto di QA e risposte conversazionali in forma libera.
Fatti principali
- AcuityBench è un benchmark per valutare i modelli linguistici sull'identificazione dell'urgenza medica.
- Armonizza cinque dataset pubblici sotto un quadro di riferimento a quattro livelli di urgenza.
- Il benchmark contiene 914 casi totali: 697 di consenso e 217 ambigui.
- Supporta formati di classificazione esplicita e risposta conversazionale in forma libera.
- I quattro livelli di urgenza vanno dal monitoraggio domiciliare alle cure di emergenza immediate.
- I casi ambigui sono confermati da medici per una valutazione consapevole dell'incertezza.
- I benchmark esistenti non offrono una valutazione unificata dell'urgenza in diversi contesti.
- AcuityBench colma le lacune nella valutazione dell'IA medica.
Entità
Istituzioni
- arXiv