DESG: Valutare le Risposte degli Psicoterapeuti AI Senza Giudici LLM
I ricercatori propongono i Dynamic Emotional Signature Graphs (DESG) per valutare la qualità delle risposte terapeutiche nei sistemi di dialogo per la salute mentale, affrontando il fallimento dei giudici LLM diretti e delle metriche di similarità testuale. Lo studio rileva che questi metodi convenzionali sono scarsamente allineati con la direzione clinica—se una risposta muove l'utente verso la regolazione, lo lascia invariato o rafforza il deterioramento. DESG è un valutatore agnostico al modello che rappresenta finestre di dialogo con caratteristiche cliniche disaccoppiate, offrendo una valutazione offline più affidabile per gli psicoterapeuti AI. L'articolo è pubblicato su arXiv con ID 2605.03472.
Fatti principali
- Gli psicoterapeuti AI conversazionali sono sempre più utilizzati in contesti di supporto psicologico.
- La valutazione offline affidabile della qualità delle risposte terapeutiche rimane un problema aperto.
- L'articolo studia la valutazione del dialogo di supporto multi-dominio senza fare affidamento su LLM come giudici finali.
- I giudici LLM diretti e le metriche simmetriche di similarità testuale sono scarsamente allineati con la qualità terapeutica.
- L'etichetta target dipende dalla direzione clinica: regolazione, riformulazione, invariato o deterioramento.
- DESG rappresenta finestre di dialogo con caratteristiche cliniche disaccoppiate.
- DESG è un valutatore agnostico al modello.
- L'articolo è su arXiv:2605.03472.
Entità
Istituzioni
- arXiv