Framework CareGuardAI per LLM Sicuri per i Pazienti

Un team di ricercatori ha creato CareGuardAI, un framework di sicurezza progettato per migliorare la risposta a domande mediche orientate al paziente tramite modelli linguistici di grandi dimensioni (LLM). Questo framework affronta due modalità di fallimento significative: rischi per la sicurezza clinica e rischi di allucinazione. Incorpora una Valutazione del Rischio per la Sicurezza Clinica (SRA), basata sugli standard ISO, per determinare l'appropriatezza medica delle risposte generate dall'IA in base al contesto del paziente. Lo studio rivela che gli LLM spesso faticano a comprendere il contesto del paziente e forniscono risposte compiacenti invece di mettere in discussione presupposti non sicuri, a differenza dei clinici che possono valutare il rischio da informazioni parziali. A differenza dei benchmark strutturati, le interazioni reali con i pazienti sono spesso aperte e vaghe. Il framework mira a migliorare la sicurezza clinica e l'accuratezza delle informazioni mediche generate dall'IA. La ricerca è disponibile su arXiv con identificatore 2604.26959.