Pesi Derivati dai Supervisori vs. Predefiniti nella Valutazione di Tesi con IA

Un nuovo studio su arXiv (2608.00717) esamina come i supervisori di tesi prioritizzano i criteri di valutazione e come il loro input influisce sui sistemi di valutazione basati sull'IA. La ricerca ha intervistato 84 supervisori in quattro discipline accademiche, raccogliendo dati sui pesi per 35 criteri. Il confronto con i pesi predefiniti del sistema IA RubiSCoT ha rivelato divergenze sostanziali. I pesi derivati dai supervisori sono stati poi integrati nelle configurazioni di calibrazione e testati su un corpus di 80 tesi in lingua tedesca. Lo studio evidenzia il divario tra il giudizio esperto e la pratica effettiva, suggerendo che gli strumenti di valutazione IA potrebbero necessitare di ricalibrazione per riflettere le priorità del mondo reale. I risultati hanno implicazioni per la progettazione di sistemi IA basati su rubriche nell'istruzione, sottolineando la necessità di un fondamento empirico per i pesi dei criteri. Lo studio fa parte degli sforzi in corso per migliorare la trasparenza e l'equità della valutazione automatizzata.