Valutazione basata su rubriche: i modelli AI più piccoli eguagliano quelli costosi nella correzione degli esami

La ricerca indica che i modelli linguistici più piccoli possono valutare le risposte aperte agli esami con un'affidabilità paragonabile a quella di modelli molto più costosi, a condizione che utilizzino una rubrica definita per la correzione. Questa conclusione deriva dal principio di progettazione 'any-to-bench', in cui un modello leader elabora i documenti sorgente una sola volta per estrarre le domande e le relative rubriche. Successivamente, modelli più economici gestiscono tutti i successivi compiti di correzione. Per validare questa affermazione, i ricercatori hanno esaminato sei configurazioni di modelli economici appartenenti a due diverse famiglie, su tre livelli di sforzo di ragionamento. Ogni configurazione ha risposto a 24 domande aperte d'esame e ha corretto ogni risposta tre volte, per un totale di 3.456 voti individuali. L'analisi ha dimostrato che il contenuto della risposta influenza prevalentemente il punteggio, con l'identità della risposta che spiega il 95,6% della varianza dei punteggi, mentre l'identità del giudice spiega solo lo 0,2%. Lo sforzo di ragionamento di chi scrive può influenzare i punteggi fino a 0,143 del punteggio pieno, e sebbene anche lo sforzo di ragionamento del giudice influenzi i punteggi, l'effetto esatto rimane non specificato. Questo studio sottolinea il potenziale di sostanziali riduzioni dei costi nelle valutazioni educative senza compromettere l'accuratezza della correzione, purché venga utilizzata una rubrica chiara.