Il dataset ThoughtTrace cattura i pensieri degli utenti nelle interazioni con LLM
Un team di ricercatori ha presentato ThoughtTrace, un dataset innovativo che collega conversazioni reali multi-turno tra umani e IA con le riflessioni auto-riportate dagli utenti, dettagliando le loro motivazioni per i prompt e le loro reazioni alle risposte dell'assistente. Questo dataset include contributi di 1.058 utenti, comprendendo 2.155 conversazioni, 17.058 turni di dialogo e 10.174 annotazioni di pensieri raccolte da 20 diversi modelli linguistici. I risultati indicano che i pensieri degli utenti sono semanticamente diversi dai loro messaggi, difficili da dedurre per LLM avanzati dal contesto, di natura varia e legati a fasi specifiche della conversazione. Questo dataset migliora le previsioni del comportamento degli utenti e consente riscritture precise guidate dai pensieri.
Fatti principali
- ThoughtTrace è il primo dataset su larga scala che abbina conversazioni umano-IA con pensieri auto-riportati.
- Il dataset include 1.058 utenti, 2.155 conversazioni, 17.058 turni e 10.174 annotazioni di pensieri.
- Dati raccolti da 20 modelli linguistici.
- I pensieri sono semanticamente distinti dai messaggi e difficili da inferire per gli LLM.
- I pensieri migliorano la previsione del comportamento degli utenti come contesto al momento dell'inferenza.
- Le riscritture guidate dai pensieri forniscono miglioramenti granulari.
- Il dataset cattura interazioni a lungo termine e tematicamente varie.
- I pensieri sono legati alle fasi della conversazione.
Entità
—