OrchBench: Benchmark Simulato per Piani di Orchestrazione Multi-Agente

I ricercatori hanno introdotto OrchBench, un benchmark basato su simulazione progettato per valutare i piani di orchestrazione multi-agente in isolamento. I compiti complessi richiedono spesso la scomposizione in sotto-attività parallele ma interdipendenti, rendendo l'orchestrazione critica per le prestazioni dei sistemi multi-agente. Le valutazioni end-to-end tradizionali confondono la qualità dell'orchestrazione con le capacità dei lavoratori, l'affidabilità degli strumenti e il rumore ambientale, e diventano costose all'aumentare della scala del flusso di lavoro. OrchBench costruisce grafi aciclici diretti (DAG) da compiti reali, codificando le dipendenze delle attività con dimensioni e parallelismo controllati. Dato un DAG, i limiti di contesto per agente e un budget di agenti, il pianificatore assegna sotto-attività agli agenti, specifica i trasferimenti di informazioni tra agenti e i rapporti di ritenzione. Un simulatore deterministico valuta quindi il piano senza esecuzione reale. Questo approccio isola la qualità dell'orchestrazione, riduce i costi di valutazione e consente un benchmarking sistematico. Il lavoro è pubblicato su arXiv con identificatore 2607.25656.