Un Framework di IA Migliora le Matrici Q per la Valutazione Educativa Tramite Integrazione di LLM e NeuralCDM

Un nuovo framework che combina modelli linguistici di grandi dimensioni con la valutazione NeuralCDM migliora le matrici Q utilizzate nella valutazione educativa. Tradizionalmente elaborate da esperti, queste matrici mappano le richieste degli item ai componenti di conoscenza, ma sono soggettive e richiedono molto tempo. L'approccio utilizza LLM con prompt strutturati per generare matrici Q candidate, che NeuralCDM valuta poi rispetto ai dati di risposta degli studenti. Applicato a un dataset di valutazione sulla termodinamica, il metodo confronta LLM implementati localmente con modelli serviti dal cloud. I risultati dimostrano che le matrici Q generate da LLM e affinate iterativamente possono superare l'adattamento del modello di riferimento degli esperti, raggiungendo un AUC di 0,780 rispetto a 0,717. I modelli implementati localmente offrono prestazioni comparabili alle alternative basate su cloud, fornendo una soluzione scalabile per la validazione empirica. Questo framework affronta le limitazioni nella costruzione di matrici Q guidata da esperti integrando candidati generati dall'IA con valutazioni basate sui dati. Lo studio evidenzia il potenziale dell'IA per migliorare l'analisi dell'apprendimento e la progettazione delle valutazioni attraverso la collaborazione umano-IA. Pubblicato su arXiv con identificatore 2604.16398v1, la ricerca presenta un avanzamento interdisciplinare nella tecnologia educativa.