Profilazione Cognitiva Basata sui Dati Migliora la Previsione della Difficoltà delle MCQ
Un nuovo quadro predittivo per valutare la difficoltà delle domande a scelta multipla è stato presentato da un gruppo di ricercatori. Allontanandosi dai metodi convenzionali incentrati sulle abilità individuali degli studenti, questo approccio innovativo esamina la diversità degli studenti attraverso la profilazione cognitiva mediante analisi dei dati. Esplorando il dataset EEDI, i ricercatori hanno utilizzato l'analisi delle classi latenti per identificare distinte tipologie di studenti. Hanno quindi impiegato un modello linguistico di grandi dimensioni per simulare le risposte e combinato queste intuizioni con il contesto tematico in un modello di regressione Ridge. Questo metodo ha portato a una maggiore accuratezza, riducendo sostanzialmente l'errore quadratico medio e migliorando significativamente i valori R-quadro. Lo studio è disponibile su arXiv, identificatore 2605.16290.
Fatti principali
- Il quadro utilizza la profilazione cognitiva basata sui dati invece del campionamento teorico delle abilità.
- Le tipologie di studenti sono state identificate tramite analisi delle classi latenti sul dataset EEDI.
- LLM condizionato per simulare le distribuzioni delle risposte per ciascuna tipologia.
- Modello di regressione Ridge per prevedere il parametro di difficoltà IRT.
- La convalida incrociata a cinque pieghe migliora l'MSE da 0,367 a 0,274.
- L'R-quadro migliora da 0,525 a 0,686.
- Le tipologie sono interpretabili e spiegano la difficoltà degli item.
- Pubblicato su arXiv con ID 2605.16290.
Entità
—