Workspace-Bench: Benchmarking degli Agenti AI su Attività con Dipendenze di File su Larga Scala

I ricercatori hanno creato un nuovo standard chiamato Workspace-Bench per valutare gli agenti AI che affrontano compiti di apprendimento in ambienti di lavoro che dipendono fortemente da file. Questo benchmark simula ambienti di lavoro reali con cinque diversi profili di lavoratori e 74 tipi di file, per un totale di 20.476 file (fino a 20 GB) e 388 attività uniche. Ogni attività ha il proprio grafo di dipendenze dei file e viene valutata utilizzando 7.399 rubriche che testano il recupero incrociato di file, il ragionamento contestuale e il processo decisionale adattivo. Per semplicità, esiste anche Workspace-Bench-Lite, che include 100 attività. Questo studio colma le lacune dei benchmark esistenti che spesso utilizzano file creati artificialmente privi di applicabilità nel mondo reale. È possibile consultare l'articolo di ricerca su arXiv con l'identificatore 2605.03596.