DataSpace: un benchmark per l'analisi verificabile su spazi di lavoro eterogenei

Quindi, c'è questo nuovo standard chiamato DataSpace che è appena uscito per valutare gli agenti dati che eseguono analisi in linguaggio naturale nelle organizzazioni. Affronta la sfida di trovare prove varie poiché le informazioni rilevanti possono essere distribuite su diversi database, file, documenti e persino video. Ciò che rende unico DataSpace è che non si concentra solo su un aspetto come le query strutturate o l'analisi a risposta aperta; invece, li combina tutti, chiedendo agli agenti di fornire output tabulari completi da vari compiti. Lo standard include 410 attività in più lingue e 7.439 artefatti, per un totale di 15,01 GB, coprendo formati come CSV, JSON e PDF. Inoltre, è stato utilizzato per la competizione KDD Cup 2026, dove agli agenti sono state fornite domande e spazi di lavoro per restituire risultati tabulari completi tramite DataSpace-Builder. Questo mira a fornire una valutazione più completa per gli agenti che gestiscono dati complessi.