Dataset MeDial-Speech per consulenze mediche con AI
È stato introdotto un nuovo dataset chiamato MeDial-Speech per supportare l'addestramento e la valutazione dei sistemi di intelligenza artificiale medica (Med-AI) durante le consultazioni con i pazienti. Questo dataset, che comprende oltre 111 ore di dati vocali non aumentati, deriva da interazioni tra robot e pazienti, nonché tra medici e pazienti, in contesti realistici. Affronta quattro specifici problemi di salute: demenza a corpi di Lewy, insufficienza cardiaca, dolore alla spalla e angina. Inoltre, presenta un benchmark di dialogo con 20 scelte di selezione di frasi per valutare tre LLM avanzati: GPT-5 mini, DeepSeek-V3 e Claude Sonnet 4. I risultati indicano che Claude Sonnet 4 raggiunge il tasso di accuratezza più alto, pari al 71,1%, utilizzando trascrizioni manuali.
Fatti principali
- MeDial-Speech è un nuovo dataset vocale per consultazioni mediche.
- Dataset raccolto da dialoghi robot-paziente e medico-paziente.
- Contiene oltre 111 ore di dati vocali senza aumentazione.
- Copre quattro condizioni di salute: demenza a corpi di Lewy, insufficienza cardiaca, dolore alla spalla, angina.
- Include un benchmark di dialogo con 20 opzioni di selezione di frasi.
- Valuta GPT-5 mini, DeepSeek-V3 e Claude Sonnet 4.
- Claude Sonnet 4 raggiunge un'accuratezza del 71,1% nella selezione di frasi.
- Articolo pubblicato su arXiv con ID 2605.26747.
Entità
Istituzioni
- arXiv