La valutazione dei tutor AI necessita di metriche comportamentali, secondo uno studio
Un recente studio sostiene che la valutazione dei sistemi di tutoraggio basati sull'intelligenza artificiale si concentra esclusivamente sulla qualità del loro feedback, trascurando il modo in cui gli studenti utilizzano tale feedback. I ricercatori suggeriscono di incorporare un aspetto comportamentale basato sui dati delle interazioni degli studenti. Hanno testato il loro framework su 10.235 invii di codice che hanno ricevuto feedback da un tutor AI in un corso introduttivo di programmazione per studenti universitari. Analizzando due tutor AI utilizzati in diversi semestri di un grande corso di informatica, sono emerse variazioni significative nel coinvolgimento degli studenti che le metriche attuali non riescono a misurare. Questa ricerca è disponibile su arXiv con l'identificatore 2605.05648.
Fatti principali
- L'attuale valutazione dei tutor AI si concentra solo sulla qualità pedagogica del feedback.
- Lo studio propone di aggiungere una dimensione comportamentale basata sui dati di interazione degli studenti.
- Il framework è stato applicato a 10.235 invii di codice con feedback del tutor AI.
- I dati provengono da un corso introduttivo di programmazione per studenti universitari.
- Due tutor AI implementati sono stati confrontati in diversi semestri.
- Sono state trovate differenze sostanziali nei modelli di coinvolgimento degli studenti.
- Le metriche esistenti non riescono a catturare queste differenze comportamentali.
- Lo studio è disponibile su arXiv (2605.05648).
Entità
Istituzioni
- arXiv