La ricerca propone nuove metriche per la precisione della valutazione automatizzata dei saggi

Un nuovo articolo di ricerca introduce due limiti QWK specifici per dataset per valutare i sistemi di valutazione automatizzata dei saggi. Il limite teorico rappresenta il QWK massimo raggiungibile da un modello ideale che predice i punteggi veri latenti nonostante il rumore delle etichette. Il limite umano-simile fornisce un obiettivo pratico per i sistemi AES destinati a sostituire singoli valutatori umani. Questi limiti derivano dai concetti di affidabilità della teoria classica dei test e possono essere stimati da benchmark standard a due valutatori senza richiedere annotazioni aggiuntive. La ricerca affronta le limitazioni nei metodi di valutazione attuali in cui le etichette di riferimento contengono inevitabili errori di valutazione umana. Lo studio dimostra che il QWK umano-umano, spesso utilizzato come riferimento di limite, può essere fuorviante. L'articolo è stato pubblicato su arXiv con identificatore 2604.19131v1. Il lavoro si concentra sul miglioramento della valutazione della precisione dei sistemi AES per un potenziale utilizzo.