Messier: Corpus Unificato di 957.000 Record per la Valutazione di Agenti AI

Un gruppo di ricercatori ha introdotto Messier, un dataset completo progettato per creare uniformità nel modo in cui valutiamo gli agenti AI attraverso diversi benchmark. Questo dataset è composto da 957.253 voci, coprendo 30 benchmark, 714 agenti, 11.891 compiti e 74.205 verificatori. Include punteggi pubblici e esecuzioni di cinque agenti in sei campi sottorappresentati, come un nuovo benchmark legale. Ogni voce è organizzata per modello, scaffold, ambiente, compito, verificatore e regola di aggregazione, utilizzando le classificazioni SOC/NAICS per approfondimenti industriali. I loro risultati rivelano progressi misti: mentre la chiamata di funzione è ben consolidata e la programmazione sta accelerando, i flussi di lavoro aziendali rimangono particolarmente impegnativi. Questo progetto mira a snellire le valutazioni degli agenti fornendo un quadro empirico unificato.