XpertBench Introduce la Valutazione Basata su Rubriche per i Modelli Linguistici di Grandi Dimensioni su Compiti di Livello Esperto

XpertBench si presenta come un nuovo benchmark progettato per valutare i modelli linguistici di grandi dimensioni su compiti complessi e aperti che riflettono una cognizione autentica di livello esperto. Sviluppato per affrontare le limitazioni dei framework esistenti—come la copertura ristretta dei domini, la dipendenza da compiti generalisti e i bias di autovalutazione—comprende 1.346 compiti meticolosamente curati in 80 categorie. Queste spaziano dalla finanza, alla sanità, ai servizi legali, all'istruzione e alla ricerca a doppio binario nelle STEM e nelle discipline umanistiche. I compiti sono stati derivati da oltre 1.000 contributi di esperti di dominio, inclusi ricercatori di istituzioni d'élite e professionisti con esperienza clinica o industriale, garantendo una superiore validità ecologica. Ogni compito impiega rubriche dettagliate con per lo più 15-40 checkpoint ponderati, mirando a una valutazione ad alta fedeltà. Il benchmark risponde al plateau delle prestazioni dei LLM sui benchmark convenzionali, concentrandosi su domini professionali autentici. È stato annunciato in arXiv:2604.02368v4 come abstract sostitutivo, evidenziando le sue fondamenta tecniche. L'iniziativa colma una lacuna nella valutazione della competenza dei LLM, enfatizzando l'applicabilità nel mondo reale e la progettazione dei compiti guidata dagli esperti. Questo sviluppo sottolinea gli sforzi in corso per affinare le metodologie di valutazione dell'IA oltre le metriche semplicistiche.