ClawForge: Un Framework di Benchmark per Workflow di Agent a Linea di Comando

ClawForge è un framework di benchmark supportato da generatori, volto a valutare agenti interattivi a linea di comando in scenari realistici che coinvolgono conflitti di stato. A differenza dei benchmark tradizionali che avviano i task da uno stato incontaminato, ClawForge esamina come gli agenti gestiscono elementi preesistenti, parziali, obsoleti o in conflitto. Questo framework integra template di scenario, slot ancorati, stati inizializzati, traiettorie di riferimento e validatori per creare specifiche di task riproducibili. Valuta gli agenti in modo incrementale su superfici di workflow persistenti, concentrandosi su stati finali normalizzati ed effetti collaterali osservabili anziché sull'allineamento preciso delle traiettorie. Il documento di ricerca è disponibile su arXiv con l'identificatore 2605.14133.