Valutazione ibrida di quattro router di modelli open-source su benchmark

Un recente articolo su arXiv (2608.14641) introduce un protocollo di misurazione standardizzato e una valutazione ibrida di quattro router di modelli open-source: RouterBench, BFCL v4, tau2-bench e WebArena. Questa ricerca analizza 290 attività fisse rispetto a una matrice definita di 2.610 risultati potenziali. Tra i router, tre mantengono assegnazioni di livello costanti, mentre solo il vLLM Semantic Router mostra variazioni significative in base al contenuto del prompt, sebbene non raggiunga il tasso di successo più alto tra i quattro benchmark. Always-Mid si allinea perfettamente con Aurelio su tre benchmark e rientra in 0,003 sul quarto. I test di superiorità a livello di attività per vLLM non rivelano alcun vantaggio specifico rispetto a un'allocazione cieca al contenuto, con equivalenza confermata solo su WebArena al margine di cinque punti percentuali. I risultati sottolineano le difficoltà nel confrontare direttamente le valutazioni dei router e suggeriscono un metodo unificato per studi futuri.