Lanciata la Open Agent Leaderboard per il Benchmarking dei Sistemi AI Completi

IBM Research ha lanciato la Open Agent Leaderboard, un benchmark aperto progettato per valutare sistemi AI agent completi anziché solo i modelli sottostanti. La classifica valuta gli agenti su sei diversi benchmark—SWE-Bench Verified, BrowseComp+, AppWorld, tau2-Bench Airline & Retail e tau2-Bench Telecom—coprendo coding, ricerca, assistenza personale, servizio clienti e supporto tecnico. Riporta sia la qualità che il costo per attività, consentendo il confronto dell'effettiva implementabilità nel mondo reale. L'iniziativa è accompagnata dal framework Exgentic per riprodurre le valutazioni e da un articolo che descrive la metodologia. I primi risultati mostrano che gli agenti generici possono eguagliare quelli specializzati e che l'architettura dell'agente (ad esempio, la selezione preliminare degli strumenti) influisce significativamente sulle prestazioni. La classifica è aperta ai contributi della comunità per nuovi agenti, benchmark e modelli.