Divario di preformulazione: le consultazioni mediche LLM non riescono a sondare le preoccupazioni vaghe del paziente
Un recente preprint disponibile su arXiv (identificatore 2608.17330v1) indaga la tempistica delle valutazioni per i modelli linguistici di grandi dimensioni durante le consultazioni mediche, evidenziando un 'divario di preformulazione' in cui le valutazioni avvengono dopo che il problema clinico è stato definito, il che differisce dalle interazioni reali di primo contatto. La ricerca ha analizzato tre modelli basati su API non nominati utilizzando quattro vignette create da medici, contrapponendo uno scenario di base a uno caratterizzato da istruzioni di 'ingresso alle cure'. Il protocollo principale ha generato 24 trascrizioni a script fisso, mentre due vignette hanno utilizzato simulazioni adattive, contribuendo con ulteriori 12 trascrizioni. Nello scenario di base, i modelli hanno fornito raccomandazioni di auto-cura in 9 casi su 12, mentre nella condizione con istruzioni non ne hanno fornite. I risultati sostengono la valutazione del divario di preformulazione attraverso comportamenti osservabili di primo contatto invece dei risultati finali.
Fatti principali
- Il preprint è arXiv:2608.17330v1.
- Affronta il 'divario di preformulazione' nella consultazione medica LLM.
- Sono stati valutati tre LLM basati su API.
- Sono state utilizzate quattro vignette multi-turno scritte da medici.
- 24 trascrizioni a script fisso provenivano dalle condizioni di base e di istruzione.
- 12 trascrizioni provenivano dalla simulazione adattiva del paziente standardizzato in due casi.
- I modelli di base hanno fornito consigli di auto-cura prima di qualsiasi risposta del paziente in 9 celle su 12; le celle di istruzione avevano 0.
- I riepiloghi strutturati di passaggio di consegna sono comparsi in 0 delle 12 celle di base e in 10 delle 12 celle di istruzione.
Entità
Istituzioni
- arXiv