La ricerca avverte dei rischi di flessibilità analitica nell'uso degli LLM come sostituti dei dati umani

Gli scienziati sociali utilizzano sempre più i grandi modelli linguistici per generare dataset sintetici noti come campioni di silicio, destinati a sostituire i rispondenti umani nella ricerca. Un nuovo studio esamina come numerose decisioni analitiche influenzino la corrispondenza tra questi campioni artificiali e i dati umani effettivi. Attraverso due indagini, la ricerca ha valutato 252 configurazioni distinte di campioni di silicio per uno studio di caso controllato che coinvolge due scale socio-psicologiche. Queste configurazioni hanno valutato se i dati sintetici potessero recuperare accuratamente le classificazioni dei partecipanti, le distribuzioni delle risposte e le correlazioni tra le scale. È stata riscontrata una variazione sostanziale in tutti e tre i criteri di valutazione, con configurazioni che performavano bene in una dimensione spesso fallendo in altre. L'analisi è stata estesa a un'applicazione pubblicata nel mondo reale dei campioni di silicio. Le scelte chiave che influenzano i risultati includono la selezione del modello, i parametri di campionamento, la formattazione dei prompt e l'inclusione di dettagli demografici o contestuali. Questo lavoro evidenzia le sfide metodologiche nell'uso dell'IA per simulare le risposte umane nella ricerca sociale.