Studio sul Pannello di Persona LLM Rivela Stime Imprecise delle Risposte al Trattamento nei Giochi Strategici

C'è un nuovo preprint su arXiv, identificato come 2608.00979, che esamina come i modelli linguistici di grandi dimensioni (LLM) possano essere utilizzati come soggetti di ricerca sintetici. Lo studio si concentra su un gruppo specifico di sedici modelli leggeri GPT-4.1 testati in giochi strategici. Hanno seguito determinati standard preregistrati in tre dei quattro scenari di gioco ripetuto, ma hanno mancato la soglia di riferimento inferiore di soli 0,011. Hanno scoperto che le variazioni nei prompt erano significative, con quote mediane che variavano dal 63% al 71% con Jeffreys alpha=0,5 e dal 47% al 53% con alpha=1. Inoltre, le stime per opportunità finite erano tra l'85% e il 96%. I risultati evidenziano come la variazione dei prompt e la modellazione dell'incertezza siano cruciali nella ricerca sugli LLM.