Il dataset MEDS mappa il ragionamento matematico degli LLM su 28.000 persone

I ricercatori hanno introdotto MEDS (Math Education Digital Shadows), un dataset progettato per valutare come i modelli linguistici di grandi dimensioni ragionano sulla matematica in condizioni simili a quelle umane e a quelle dell'IA. Il dataset comprende 28.000 persone derivate da 14 LLM, inclusi modelli delle famiglie Mistral, Qwen, DeepSeek, Granite, Phi e Grok. Ogni persona è sottoposta a quattro tipi di compiti matematici: un'intervista matematica aperta, tre test psicometrici sulle percezioni matematiche con spiegazioni, reti cognitive che catturano gli atteggiamenti matematici e 18 domande di matematica di livello liceale con ragionamento e punteggi di confidenza. A differenza dei benchmark tradizionali basati solo sui punteggi, MEDS integra concetti di autoefficacia e ansia matematica per fornire un quadro più ricco delle capacità e dei bias matematici degli LLM.