I Tutor AI Non Rilevano Ragionamenti Errati Quando le Risposte Sono Corrette

Uno studio recente pubblicato su arXiv ha scoperto un difetto nei sistemi di tutoraggio intelligente noto come 'trappola della risposta corretta' (CAT). Ciò si verifica quando l'IA non riconosce le concezioni errate se gli studenti raggiungono risposte corrette attraverso ragionamenti sbagliati. Esaminando le risposte reali degli studenti dalla piattaforma matematica Eedi, i ricercatori hanno scoperto che il 71% di questi problemi deriva da soli due tipi di domande, strutturate in modo tale che un ragionamento errato può portare a risposte numeriche corrette. La ricerca ha confrontato un modello T5 ottimizzato con un modello linguistico di grandi dimensioni leader, rivelando che mentre la precisione del rilevamento è migliorata dal 57% all'84%, il modello migliore produce ancora circa quattro falsi positivi per ogni identificazione corretta, rendendo uno screening efficace impraticabile in contesti tipici di classe.