Calibrazione della Difficoltà Basata su LLM per Esami di Programmazione: Uno Studio Multi-Evidenza

Una recente indagine pubblicata su arXiv (2608.07523) esplora l'applicazione di modelli linguistici di grandi dimensioni (LLM) come strumenti di supporto per valutare la difficoltà di domande d'esame di programmazione in classi parallele, con l'obiettivo di migliorare l'equità nelle valutazioni. Questa ricerca sposta il ruolo degli LLM da semplici obiettivi di benchmark a preziose fonti di evidenza che integrano le metriche di valutazione tradizionali. Integrando approfondimenti generati dall'IA con risultati aggregati degli studenti, esposizione degli item, dati di processo del giudice online e valutazioni degli insegnanti, lo studio ha condotto un esperimento in cui dieci modelli hanno affrontato un esame finale di otto domande insieme a 120 studenti. La correlazione tra il tasso di superamento dell'IA e il tasso di superamento degli studenti è stata positiva (rho di Spearman = 0.866, p esatto = 0.0119), mentre un indice di difficoltà composito basato sulle soluzioni ha mostrato una correlazione negativa (rho = -0.905, p esatto = 0.0046). L'analisi ha incluso 79 problemi provenienti da 11 esami di classi parallele, indicando che gli LLM potrebbero assistere significativamente gli educatori nella creazione di valutazioni più eque combinando evidenze dell'IA con dati umani e di processo per valutazioni approfondite.