Nuovo Benchmark per Compiti di Ricerca Approfondita Costruito tramite Evoluzione Iterativa

Un nuovo benchmark verificabile che comprende 500 compiti di ricerca approfondita su 31 argomenti e 10 categorie principali è stato sviluppato per valutare le capacità dei sistemi di intelligenza artificiale nell'eseguire ricerche approfondite. Questo benchmark è generato automaticamente attraverso un pipeline iterativo Explorer-Formalizer-Challenger, che converte sistematicamente domande di base in compiti di ricerca complessi. Ogni compito è rappresentato come un grafo aciclico diretto (DAG) composto da passi atomici e checkpoint pertinenti, consentendo alla query, al DAG e ai criteri di valutazione di evolvere in modo coordinato. Incorpora tre tipi di query per esaminare le diverse competenze necessarie per la ricerca approfondita. Gli esperimenti indicano che questo benchmark distingue efficacemente tra vari modelli di IA, fungendo da risorsa di valutazione affidabile. La ricerca, che affronta la sfida di creare benchmark verificabili a livello esperto senza dipendere dalla paternità di esperti o da contenuti generati da esseri umani esistenti, è disponibile su arXiv con l'identificatore 2608.02163.