Gli LLM valutano erroneamente la difficoltà dei problemi con le frazioni

Uno studio che confronta le valutazioni di difficoltà generate dagli LLM con i dati empirici sulle prestazioni degli studenti in aritmetica di base rivela un disallineamento sistematico per gli item sulle frazioni. I ricercatori hanno chiesto a quattro sistemi LLM di valutare 32 item aritmetici su una scala da 1 a 100 (N=640 valutazioni) e hanno confrontato questi dati con quelli di 770 studenti universitari indonesiani utilizzando la Teoria Classica dei Test e la Teoria della Risposta all'Item. Mentre le correlazioni di rango erano moderate (rho di Spearman 0.52-0.70), diversi item sulle frazioni valutati come facili dagli LLM sono risultati tra i più difficili per gli studenti, indicando che gli LLM sottostimano la difficoltà guidata da concezioni errate.