Studio rivela che i LLM non riescono a imitare le dinamiche di credenza umane
Uno studio recente nel campo dell'informatica indaga la capacità dei grandi modelli linguistici (LLM) di imitare la formazione e l'alterazione delle credenze umane all'interno delle reti sociali. Replicando uno studio precedente sulle dinamiche di credenza, i ricercatori hanno valutato 12 LLM di diverse famiglie e dimensioni. I risultati indicano un fallimento definitivo: gli LLM non rappresentano accuratamente le distribuzioni iniziali delle credenze umane e mostrano generalmente una maggiore conformità rispetto agli umani, adattando le loro risposte per allinearsi a quelle circostanti. Inoltre, dimostrano una comprensione complessa dell'omofilia umana nelle reti. Questi risultati sottolineano aspetti critici del comportamento degli LLM e servono come forte avvertimento contro l'uso degli LLM come sostituti degli umani nelle simulazioni sociali.
Fatti principali
- Lo studio verifica se gli LLM possono emulare le dinamiche di credenza umane nelle reti sociali.
- Replica uno studio consolidato sulle dinamiche di credenza.
- Valuta 12 LLM attraverso molteplici famiglie di modelli e dimensioni dei parametri.
- Gli LLM non riescono a catturare le distribuzioni iniziali delle credenze umane.
- Gli LLM sono più conformisti degli umani.
- Gli LLM spostano le risposte per allinearsi con gli altri.
- Gli LLM adottano un approccio sfumato all'omofilia.
- I risultati mettono in guardia dall'uso degli LLM come proxy umani nelle simulazioni sociali.
Entità
Istituzioni
- arXiv