MMGrader: strumento AI valuta i modelli mentali dalle risposte multimodali degli studenti

I ricercatori hanno introdotto un nuovo sistema di intelligenza artificiale chiamato MMGrader, progettato per valutare la qualità dei modelli mentali degli studenti attraverso le loro risposte multimodali. Questa metodologia, descritta in un articolo disponibile su arXiv (2603.00056v2), impiega grafi concettuali per analizzare e misurare la profondità della comprensione concettuale. La valutazione ha coinvolto 9 modelli pubblicamente accessibili, inclusi modelli visione-linguaggio, rivelando che i modelli con le migliori prestazioni hanno raggiunto solo circa il 40% di accuratezza, con un errore di previsione di 1,1 unità. Sebbene la distribuzione dei punteggi mostrasse una certa concordanza con le valutazioni umane, non ha raggiunto le prestazioni a livello umano. L'articolo sottolinea la difficoltà di dedurre i modelli mentali dalle risposte degli studenti, evidenziando sia le promesse che i limiti dell'IA nella valutazione educativa.