I LLM superano i professionisti della salute mentale nella diagnosi dei disturbi di personalità

Un recente studio disponibile su arXiv valuta la precisione diagnostica dei grandi modelli linguistici (LLM) rispetto a quella degli esperti di salute mentale nell'identificare i disturbi borderline (BPD) e narcisistico (NPD) di personalità attraverso narrazioni in prima persona in polacco. I modelli Gemini Pro hanno raggiunto un punteggio diagnostico del 65,48%, superando il punteggio umano medio del 43,57% di 21,91 punti percentuali. Mentre sia i LLM che i valutatori umani erano abili nel riconoscere il BPD (F1 = 83,4 per i modelli e 80,0 per gli umani), i modelli hanno sottostimato significativamente il NPD (F1 = 6,7 rispetto a 50,0), indicando una esitazione nell'uso del termine "narcisismo". I modelli hanno fornito giustificazioni dettagliate basate su pattern, mentre i professionisti umani hanno offerto valutazioni più sfumate, sollevando preoccupazioni sull'affidabilità dei LLM nell'autovalutazione psichiatrica.