TeamBench: Valutare il Coordinamento degli Agenti AI con Separazione dei Ruoli Imposta dal Sistema Operativo

TeamBench è stato sviluppato da ricercatori come benchmark per valutare il coordinamento degli agenti AI quando i loro ruoli sono dettati dal sistema operativo, anziché esclusivamente tramite prompt. Questo benchmark include 851 modelli di attività e 931 istanze seminate, designando ruoli specifici—Pianificatore, Esecutore e Verificatore—con limitazioni di accesso chiaramente definite a specifiche, modifiche dell'area di lavoro e approvazioni finali. Questa struttura impedisce a qualsiasi singolo agente di avere la capacità di leggere tutti i requisiti, alterare l'area di lavoro e certificare i risultati. I risultati indicano che i team che si affidano ai prompt e quelli governati da regole sandbox hanno tassi di superamento simili, ma gli scenari basati solo su prompt portano a 3,6 volte più casi in cui i verificatori tentano di modificare il codice dell'esecutore. Inoltre, i verificatori approvano il 49% delle proposte che non soddisfano criteri deterministici, evidenziando problemi di coordinamento. TeamBench offre un quadro robusto per valutare la collaborazione degli agenti sotto una stretta separazione dei ruoli, indicando che senza restrizioni di accesso, gli agenti possono eccedere le funzioni assegnate.