Il benchmark Ambig-DS svela l'ambiguità nell'inquadramento dei compiti negli agenti di data science

I ricercatori hanno introdotto Ambig-DS, un benchmark progettato per valutare come gli agenti di data science gestiscono l'ambiguità nell'inquadramento dei compiti. Mentre gli agenti evolvono da co-piloti a auto-piloti, potrebbero impegnarsi silenziosamente in inquadramenti plausibili ma non intenzionali, producendo artefatti puliti che nascondono valutazioni errate. Ambig-DS comprende due suite diagnostiche: Ambig-DS-Target (51 compiti basati su DSBench, un benchmark di modellazione tabellare) per l'ambiguità dell'obiettivo di previsione, e Ambig-DS-Objective (61 compiti basati su MLE-bench, un benchmark di competizioni ML in stile Kaggle) per l'ambiguità dell'obiettivo di valutazione. Ogni compito abbina una versione originale completamente specificata con una variante ambigua creata tramite modifiche controllate, verificata da un pipeline umano-LLM per garantire interpretazioni multiple plausibili. Il benchmark utilizza il valutatore originale di ciascun benchmark di origine per il punteggio, mirando a rilevare se gli agenti riconoscono compiti sottospecificati piuttosto che solo se i pipeline vengono eseguiti.