MetaRoute-Bench: Un Nuovo Framework per la Valutazione delle Politiche di Routing Agentico

MetaRoute-Bench è stato introdotto per valutare come vengono prese le decisioni nei sistemi agentici, che spesso si trovano di fronte a scelte come rispondere direttamente alle domande, scomporre i compiti, utilizzare strumenti, eseguire codice, consultare esperti, verificare i risultati o recuperare dagli errori. Queste decisioni influenzano la qualità del completamento dei compiti, i costi e il tempo impiegato, ma di solito vengono valutate solo attraverso l'accuratezza complessiva del compito. Questo benchmark fornisce un modo chiaro e aperto per analizzare questi processi decisionali all'interno di un unico modello di esecuzione. Include 180 profili di compiti sintetici in aree come l'analisi dei dati e l'elaborazione dei documenti, e presenta otto politiche di routing e 30 coppie di semi casuali. Una politica consapevole del compito ha raggiunto un tasso di successo del 79,4%, superando altri approcci. Il benchmark è disponibile su arXiv con l'identificatore 2608.00107.