Agenti LLM Simulano il Comportamento Umano da Autovalutazioni
Uno studio recente indaga la capacità dei modelli linguistici di grandi dimensioni (LLM) di generare simulazioni general-purpose di individui, chiamate agenti generativi, basate su dati auto-riportati. I ricercatori hanno utilizzato un campione nazionale variegato di 1.052 americani, costruendo agenti attraverso interviste semi-strutturate di due ore (American Voices Project), sondaggi strutturati (General Social Survey e inventario della personalità Big Five), o una combinazione di entrambi i metodi. L'accuratezza di questi agenti su elementi del General Social Survey non utilizzati è stata dell'83% (solo intervista), 82% (solo sondaggi) e 86% (combinati), dimostrando prestazioni superiori rispetto agli agenti basati esclusivamente su dati demografici. Questi risultati indicano che gli LLM possono prevedere il comportamento umano in vari ambiti senza bisogno di ampi dataset strutturati per ogni specifico risultato, presentando un metodo più versatile per la simulazione comportamentale.
Fatti principali
- Lo studio utilizza LLM per creare simulazioni specifiche per persona (agenti generativi) da dati auto-riportati.
- Il campione include 1.052 americani da un campione nazionale diversificato.
- Fonti di dati: interviste semi-strutturate (American Voices Project), sondaggi strutturati (General Social Survey, inventario Big Five), o entrambi.
- Accuratezza degli agenti su elementi GSS non utilizzati: 83% (solo intervista), 82% (solo sondaggi), 86% (combinati).
- Accuratezza misurata rispetto alla coerenza test-retest a due settimane dei partecipanti.
- Supera gli agenti basati solo su dati demografici.
- Pubblicato su arXiv: 2411.10109v2.
- Consente previsioni comportamentali general-purpose senza dati strutturati specifici del dominio.
Entità
Istituzioni
- American Voices Project
- General Social Survey
- Big Five personality inventory
- arXiv