I LLM riproducono la struttura del significato sociale umano ma non la sua magnitudine

Uno studio recente su arXiv indaga la capacità dei modelli linguistici di grandi dimensioni (LLM) di imitare il significato sociale umano. I ricercatori hanno sviluppato due metriche innovative, il Rapporto di Dimensione dell'Effetto (ESR) e il Punteggio di Deviazione della Calibrazione (CDS), per valutare come questi modelli riflettono le strutture sociali e calibrano la loro output. La ricerca si è concentrata sulla premessa che il significato sociale deriva dall'interpretazione del linguaggio e dall'intenzione del parlante. Analizzando tre LLM avanzati, lo studio ha rilevato che, sebbene tutti i modelli rappresentino efficacemente il ragionamento sociale qualitativo, variano significativamente nella loro accuratezza riguardo alla calibrazione della magnitudine. Questo lavoro suggerisce che l'integrazione di intuizioni dalla teoria pragmatica potrebbe migliorare l'allineamento degli LLM con i processi di pensiero umani.