OrchestraBench: Nuovo Benchmark Diagnostica i Guasti nell'Orchestrazione Multi-Agente

È stato lanciato un nuovo standard, noto come OrchestraBench, per valutare le modalità di guasto, i processi di recupero e la qualità della decomposizione nei sistemi di orchestrazione multi-agente. A differenza dei benchmark convenzionali che riportano semplicemente l'accuratezza del compito senza identificare i problemi alla radice, OrchestraBench impiega un framework controllato di iniezione di guasti riproducibile tramite seed su flussi di lavoro aziendali standardizzati. Presenta due metriche chiave: raggio di cascata e recupero per modalità di guasto. Il benchmark valuta le strategie di routing tramite intervalli di confidenza bootstrap e test appaiati. In una diagnosi che coinvolge 26 casi con etichetta aurea, un router basato su parole chiave/flag ha ottenuto lo 0% su scenari avversari con flag superficiali ingannevoli o assenti, mentre un router basato su modello di ragionamento dell'intento ha raggiunto un punteggio perfetto del 100%. Il benchmark mira a migliorare la comprensione dei guasti nelle pipeline multi-agente, facilitando migliori strategie di routing e recupero. L'articolo di ricerca è disponibile su arXiv con identificativo 2608.05263.