Esaminandi Simulati da LLM si Allineano ai Dati Umani tramite Profilazione Diagnostica Cognitiva
Un nuovo approccio zero-shot noto come Profilazione Diagnostica Cognitiva (CDP) migliora la corrispondenza tra i test-taker simulati da LLM e i dati di risposta umani reali per la calibrazione psicometrica. I ricercatori hanno esaminato otto configurazioni di LLM utilizzando il dataset Tatsuoka di frazioni-sottrazioni, che include 536 esaminandi, 15 item e cinque attributi, in tre condizioni: nessun profilo, CDP non informativo e CDP informativo. Il CDP ha migliorato l'allineamento nella distribuzione delle abilità, nei profili di padronanza e nella difficoltà degli item, mitigando l'eccessiva accuratezza e uniformità spesso osservate nelle simulazioni LLM. Questa tecnica incoraggia i LLM a creare profili cognitivi variati basati su modelli binari di padronanza derivati da distribuzioni non informative o informative, fornendo un'alternativa economica alla costosa raccolta di dati umani per la calibrazione iniziale dei test.
Fatti principali
- La Profilazione Diagnostica Cognitiva (CDP) è un framework zero-shot per la calibrazione psicometrica.
- Il CDP induce i LLM a simulare esaminandi con profili cognitivi diversi.
- Il dataset Tatsuoka di frazioni-sottrazioni include 536 esaminandi, 15 item e cinque attributi.
- Otto configurazioni di LLM sono state valutate in tre condizioni.
- Il CDP ha migliorato l'allineamento a livello di distribuzione delle abilità, profilo di padronanza e difficoltà degli item.
- Le risposte simulate da LLM sono tipicamente troppo accurate e uniformi.
- Il CDP utilizza modelli binari di padronanza degli attributi resi come profili in linguaggio naturale.
- I profili vengono campionati sotto distribuzioni non informative o informative.
Entità
Istituzioni
- arXiv