La formazione sulla sicurezza dell'IA danneggia i chatbot per la salute mentale

Una recente indagine pubblicata su arXiv indica che l'allineamento alla sicurezza tramite RLHF nei modelli linguistici di grandi dimensioni può interferire con i metodi terapeutici, provocando un declino psicologico in più di un terzo dei casi simulati. Lo studio ha valutato quattro modelli generativi in 250 scenari di terapia di esposizione prolungata, 146 compiti di ristrutturazione cognitiva CBT e 29 varianti di gravità aumentata, valutati da un panel di tre giudici utilizzando LLM. Mentre tutti i modelli hanno ottenuto punteggi quasi perfetti nel riconoscimento superficiale (circa 0,91-1,00), la loro idoneità terapeutica è crollata a 0,22-0,33 ai livelli di gravità più elevati per tre modelli su quattro, con due che hanno mostrato fedeltà al protocollo pari a zero. Inoltre, il tasso di completamento dei compiti di un modello è sceso dal 92% al 71% sotto l'escalation di gravità CBT, e il punteggio di interferenza con la sicurezza del modello leader è diminuito da 0,99 a 0,61. Solo il 16% degli interventi chatbot basati su LLM è stato sottoposto a valutazioni approfondite dell'efficacia clinica. La ricerca evidenzia un fallimento diffuso tra le modalità, in cui l'allineamento alla sicurezza mina il successo terapeutico.