Studio rivela che i modelli linguistici di grandi dimensioni persuadono solo gli esseri umani psicologicamente suscettibili su questioni sociali attraverso fiducia ed emozione
Il framework Talk2AI è stato lanciato per valutare quanto persuasivi e simili all'umano siano i modelli linguistici di grandi dimensioni quando discutono di questioni sociali divisive. Questa ricerca ha coinvolto 770 partecipanti che hanno preso parte a discussioni strutturate con uno dei quattro principali LLM su argomenti come il cambiamento climatico, la disinformazione sui social media e l'ansia legata alla matematica. Sono stati registrati un totale di 60.000 scambi conversazionali in 3.080 discussioni con un disegno longitudinale a quattro ondate. Dopo ogni ondata, i partecipanti hanno valutato le loro convinzioni iniziali, i cambiamenti percepiti nell'opinione, l'umanità degli LLM, il loro coinvolgimento con l'argomento e hanno fornito spiegazioni scritte. I risultati, disponibili in arXiv:2604.16935v1, evidenziano che l'influenza degli LLM deriva in gran parte dalla fiducia e dal coinvolgimento emotivo, nonostante contengano errori logici.
Fatti principali
- 1. Lo studio introduce il framework longitudinale Talk2AI che misura la persuasività degli LLM
- 2. 770 partecipanti hanno interagito con quattro principali LLM su temi sociali polarizzanti
- 3. Generati 3.080 conversazioni con oltre 60.000 turni conversazionali
- 4. Gli argomenti includevano cambiamento climatico, disinformazione sui social media e ansia matematica
- 5. I partecipanti hanno riportato convinzione, cambiamento d'opinione, umanità degli LLM e auto-donazione
- 6. I risultati mostrano inerzia longitudinale nelle convinzioni umane nonostante l'esposizione all'IA
- 7. Gli LLM persuadono attraverso la fiducia nell'IA e appelli emotivi con fallacie logiche
- 8. La ricerca documentata in arXiv:2604.16935v1 affronta la scarsa evidenza longitudinale
Entità
Istituzioni
- arXiv