DataClaw Benchmark Testa Agenti AI nell'Analisi di Dati Reali

DataClaw è stato presentato dai ricercatori come un benchmark incentrato sulla valutazione di agenti autonomi di analisi dei dati in contesti esplorativi reali. A differenza dei benchmark tradizionali che privilegiano l'accuratezza delle risposte finali in ambienti dati guidati, DataClaw si concentra sulla valutazione dei processi di ragionamento. Comprende circa 2,06 milioni di record autentici che spaziano nei settori aziendale, industriale e politico, mantenendo il rumore intrinseco dei dati. Il benchmark presenta 492 attività in vari domini, ispirate a situazioni di consulenza di think tank, con annotazioni che segnano tappe intermedie per valutare i processi. Queste annotazioni tracciano il progresso di un agente e identificano fallimenti nel ragionamento. Test che hanno coinvolto otto LLM sofisticati hanno rivelato che gli agenti attuali non sono ancora affidabili, con sette modelli che hanno ottenuto un tasso di successo inferiore al 50%. Questo benchmark mira a colmare il vuoto nella valutazione delle capacità degli agenti per l'analisi esplorativa in ambienti dati meno studiati.