Dati Sintetici Generati dall'IA Non Riescono a Replicare le Intuizioni Umane nello Studio della Silicon Valley
Una recente indagine condivisa su arXiv esamina le prestazioni dei dati di sondaggio sintetici generati da cinque importanti modelli linguistici di grandi dimensioni (LLM) rispetto alle risposte di 420 sviluppatori e programmatori umani situati nella Silicon Valley. I modelli valutati erano ChatGPT Thinking 5 Pro, Claude Sonnet 4.5 Pro, Claude CoWork 1.123, Gemini Advanced 2.5 Pro e DeepSeek 3.2. Lo studio ha rivelato che, sebbene gli output dell'IA apparissero coerenti e affidabili, mancavano dell'originalità e della profondità riscontrate nelle intuizioni umane. Questa disparità sottolinea le sfide nel dipendere da dati sintetici per la ricerca organizzativa volta a scoprire punti di vista innovativi.
Fatti principali
- Lo studio confronta i dati sintetici di cinque LLM con le risposte umane ai sondaggi.
- Il sondaggio umano ha coinvolto 420 programmatori e sviluppatori della Silicon Valley.
- LLM testati: ChatGPT Thinking 5 Pro, Claude Sonnet 4.5 Pro più Claude CoWork 1.123, Gemini Advanced 2.5 Pro, Incredible 1.0, DeepSeek 3.2.
- I dati generati dall'IA erano tecnicamente plausibili ma mancavano di intuizioni controintuitive.
- Le deviazioni dai dati umani si raggruppavano insieme in tutti i modelli.
- I dati umani reali erano l'outlier nell'analisi.
- Lo studio è stato pubblicato su arXiv con ID 2603.00059.
- Vengono discusse le implicazioni per la pratica della ricerca organizzativa.
Entità
Istituzioni
- arXiv
Luoghi
- Silicon Valley