I simulatori sociali LLM necessitano di audit sulle ragioni, non solo controlli sui risultati

Un recente preprint su arXiv (2607.24649) suggerisce che la valutazione dei grandi modelli linguistici che fungono da simulatori sociali—come partecipanti sintetici a sondaggi—è inadeguata. I ricercatori sostengono che, sebbene l'allineamento con i risultati umani (come le risposte finali) sia essenziale, è insufficiente, poiché un simulatore può arrivare alla risposta corretta utilizzando un ragionamento errato. Per affrontare questo problema, propongono una tecnica che utilizza stati di ragione firmati Z, dove i segni positivi indicano adozione e quelli negativi opposizione. In uno studio che ha coinvolto 94 partecipanti che valutavano tre concetti di creme solari, gli intervistati hanno fornito motivazioni aperte. I risultati indicano che l'uso di ragioni derivate dalla razionalità umana migliora significativamente la previsione dei risultati, evidenziando come gli audit basati sulle ragioni possano rivelare discrepanze tra il ragionamento umano e quello simulato.