QuestBench: Insegnare l'alfabetizzazione all'IA attraverso la costruzione di benchmark
Una nuova pratica educativa insegna agli studenti a costruire benchmark per testare i sistemi di IA, utilizzando strumenti di ricerca approfondita come caso di studio. L'approccio, introdotto in un articolo su arXiv, sposta la formazione sull'IA dalla formazione alla produttività alla valutazione critica. Gli studenti creano domande di livello esperto in discipline umanistiche e scienze sociali, sottopongono a revisione paritaria per ambiguità e valutano le risposte dell'IA. Il benchmark risultante, QuestBench, include 256 domande in 14 domini. Questo metodo mira ad aiutare gli studenti a comprendere il loro ruolo nel giudicare la conoscenza prodotta dalle macchine.
Fatti principali
- La pratica prevede che gli studenti costruiscano benchmark per testare i sistemi di IA
- Utilizza sistemi di ricerca approfondita come esempio concreto
- Gli studenti creano domande di livello esperto basate sulla conoscenza disciplinare
- La revisione paritaria si concentra su ambiguità e scorciatoie
- Il benchmark risultante QuestBench ha 256 domande
- Copre 14 domini delle scienze umane e sociali
- Mira a insegnare la valutazione critica degli output dell'IA
- Pubblicato su arXiv con ID 2605.21413
Entità
Istituzioni
- arXiv