DSAgentBench: Benchmark per Agenti AI in Flussi di Lavoro Reali di Data Science
L'introduzione di un nuovo benchmark, DSAgentBench, mira a valutare la capacità degli agenti AI di automatizzare completamente i flussi di lavoro end-to-end di data science in ambienti informatici autentici. Questo benchmark, descritto in un articolo disponibile su arXiv (arXiv:2608.10366), colma una lacuna nei benchmark attuali che non coinvolgono interazioni reali con il computer e trascurano gli aspetti multi-fase e multi-strumento della data science. DSAgentBench presenta 275 compiti vari che coprono l'intero ciclo di vita della data science, inclusi data wrangling, esplorazione, modellazione, visualizzazione e validazione. Gli agenti devono utilizzare efficacemente strumenti come notebook, IDE, terminali, browser e database in ambienti operativi reali. Ogni compito richiede un processo decisionale informato basato su output intermedi e include una valutazione deterministica, riflettendo la complessa coordinazione richiesta nella data science pratica.
Fatti principali
- DSAgentBench è il primo benchmark a valutare gli agenti su flussi di lavoro completi di data science in ambienti informatici reali.
- Contiene 275 compiti diversi che coprono l'intero ciclo di vita della data science.
- I compiti richiedono il coordinamento di strumenti come notebook, IDE, terminali, browser e database.
- Il benchmark affronta la mancanza di interazione reale con il computer nei benchmark esistenti.
- Ogni compito include una valutazione deterministica.
- L'articolo è disponibile su arXiv con identificativo 2608.10366.
- Il benchmark riflette la natura multi-fase e multi-strumento della pratica della data science.
Entità
Istituzioni
- arXiv