MedMosaic: Rilasciato un ampio benchmark audio medico
Un team di ricercatori ha presentato MedMosaic, un dataset progettato per valutare modelli di ragionamento linguistico e audio in contesti clinici reali. La raccolta di dati audio medici presenta sfide a causa delle leggi sulla privacy e degli elevati costi di annotazione. MedMosaic include una varietà di formati audio, come suoni fisiologici associati a condizioni mediche, parlato sintetico con artefatti e dialoghi clinici reali di diversa lunghezza. Il dataset comprende 46.701 coppie domanda-risposta in formati a scelta multipla, sequenziali multi-turno e aperti. Facilita una valutazione approfondita del ragionamento multi-hop e della generazione di risposte. Questo benchmark valuta 13 diversi modelli audio e linguistici.
Fatti principali
- MedMosaic è un dataset di QA audio medico per il benchmarking di modelli di ragionamento linguistico e audio.
- Il dataset include suoni fisiologici, voci sintetiche e conversazioni cliniche reali.
- Contiene 46.701 coppie domanda-risposta in formati a scelta multipla, multi-turno e aperti.
- Valuta 13 modelli audio e linguistici.
- Affronta le sfide delle normative sulla privacy e degli alti costi di annotazione nell'audio medico.
Entità
—