Consulenti LLM Ottimizzati per Preferenze Scambiano la Persistenza degli Obiettivi per la Sintonia Relazionale nel Colloquio Motivazionale
Un recente articolo su arXiv (2607.28814) presenta un quadro di valutazione a due assi per valutare le risposte dei consulenti nel Colloquio Motivazionale (MI), utilizzando il codice Motivational Interviewing Treatment Integrity (MITI). Questo quadro presenta due assi: Persistenza degli Obiettivi (GP) e Sintonia Relazionale (RA), creando un modello a quattro quadranti in cui 'rotolare con la resistenza' è caratterizzato da punteggi elevati su entrambi gli assi. La ricerca esamina se l'ottimizzazione delle preferenze—penalizzando fallimenti specifici come la capitolazione o il confronto—insegna ai consulenti LLM a rotolare efficacemente con la resistenza o porta inavvertitamente al risultato opposto. Utilizzando il corpus AnnoMI annotato da esperti, gli autori generano dati di Direct Preference Optimization (DPO) disgiunti per argomento. Un valutatore automatico, allineato con le annotazioni degli esperti, valuta i modelli. I risultati indicano che i consulenti LLM ottimizzati per preferenze potrebbero sacrificare la persistenza degli obiettivi per la sintonia relazionale, rischiando la capitolazione quando addestrati a evitare il confronto, e viceversa. Lo studio sottolinea la difficoltà di mantenere l'equilibrio tra queste dimensioni nella consulenza automatizzata e la necessità di tecniche sofisticate di dati di addestramento e valutazione.
Fatti principali
- Articolo arXiv:2607.28814
- Introduce una valutazione a due assi: Persistenza degli Obiettivi (GP) e Sintonia Relazionale (RA)
- Basato sul codice Motivational Interviewing Treatment Integrity (MITI)
- Quadro a quattro quadranti: rotolare con la resistenza è alto sia su GP che su RA
- Usa il corpus AnnoMI per dati annotati da esperti
- Costruisce dati di Direct Preference Optimization (DPO) disgiunti per argomento
- Gli insiemi di preferenze differiscono solo per quale fallimento viene rifiutato
- Usa negativi on-policy
- Giudice automatico validato rispetto alle annotazioni degli esperti
- Risultati: l'ottimizzazione delle preferenze può scambiare la persistenza degli obiettivi per la sintonia relazionale
Entità
Istituzioni
- arXiv
- AnnoMI