ProcBench: Nuovo Benchmark Valuta il Processo di Esecuzione degli Agenti di Codifica LLM

ProcBench è un benchmark innovativo progettato per valutare gli agenti di codifica LLM, enfatizzando la qualità del processo di esecuzione anziché solo i risultati finali. Classifica gli errori di esecuzione ricorrenti in un'ontologia che include 11 tipi di difetti in quattro categorie distinte e analizza le traiettorie degli agenti utilizzando prove di processo standardizzate. Questo benchmark converte i log grezzi in un formato di traiettoria coeso per confrontare diversi agenti. Inoltre, introduce una nuova metrica chiamata preservazione del controllo, che misura la misura in cui l'esecuzione è interpretabile, interrompibile, correggibile, reversibile e in grado di restituire l'autorità. Questa ricerca è dettagliata nell'articolo arXiv 2605.20251.