Le simulazioni di salute mentale basate sull'IA falliscono l'accuratezza a livello di popolazione

Un nuovo studio da arXiv (2604.17359) rivela che i grandi modelli linguistici (LLM) che simulano pazienti psichiatrici producono casi individuali convincenti ma non riescono a replicare le statistiche demografiche del mondo reale. I ricercatori hanno testato GPT-4o-mini, Gemini-3-Flash, DeepSeek-V3 e GLM-4.7 su 120 coorti demografiche, utilizzando due inquadramenti: uno come annotazione clinica e uno come autodescrizione. Hanno generato 28.800 risposte e le hanno valutate rispetto ai punteggi PHQ-8 ponderati per il sondaggio dai microdati NHANES. Individualmente, il 97,3% delle presentazioni elevate soddisfaceva la regola di accesso del DSM-5, con un tasso di violazione del 2,68% rispetto a un valore nullo casuale del 10,4%. Tuttavia, come popolazioni, le simulazioni hanno costantemente gonfiato i punteggi PHQ-8 di 2,8-5,5 punti in tutti i gruppi confrontabili. Inoltre, il 18,2% dei pazienti simulati ha superato la soglia di trattamento, rispetto al 7,5% degli adulti reali. Le simulazioni non sono riuscite a preservare le disparità razziali: i divari tra neri e bianchi e tra ispanici e bianchi sono stati attenuati o appiattiti dai modelli. Lo studio evidenzia un limite critico nell'uso degli LLM per la ricerca e la simulazione in salute mentale, sottolineando che, sebbene possano superare l'esame individuale, non possono rappresentare accuratamente i modelli epidemiologici a livello di popolazione.