Claw-Eval-Live: Un Benchmark Live per Agenti di Workflow in Evoluzione

Claw-Eval-Live è stato lanciato da ricercatori come un benchmark dinamico progettato per valutare agenti LLM all'interno di flussi di lavoro reali in evoluzione. A differenza dei tradizionali benchmark statici che bloccano i set di compiti al momento del rilascio, Claw-Eval-Live distingue tra un livello di segnale aggiornabile e un'istantanea di rilascio riproducibile. I segnali pubblici di domanda di workflow, tra cui le competenze ClawHub Top-500, vengono utilizzati per aggiornare il livello di segnale con ogni rilascio. Ogni iterazione presenta compiti controllati con fixture, servizi, spazi di lavoro e valutatori stabiliti. Per la valutazione, il benchmark cattura tracce di esecuzione, log di audit, stati dei servizi e artefatti dagli spazi di lavoro post-esecuzione, utilizzando controlli deterministici quando sono presenti prove adeguate. Questa metodologia cerca di valutare la competenza degli agenti nell'eseguire compiti end-to-end attraverso vari strumenti software e servizi aziendali, affrontando la sfida di adattarsi a requisiti di workflow in evoluzione.