Le classifiche degli agenti misurano la specializzazione, non la capacità: nuovo studio

Una recente indagine pubblicata su arXiv (2608.11323) indica che le classifiche per gli agenti utilizzati dai professionisti aziendali privilegiano la specializzazione rispetto alle competenze generali. Lo studio, che ha esaminato tre benchmark—TheAgentCompany, τ²-bench e AppWorld—ha scoperto che l'effetto principale degli agenti contribuisce a meno del 3% della varianza totale, mentre l'interazione tra agenti e compiti contribuisce tra il 7% e il 23%. Ciò suggerisce che queste classifiche enfatizzano le prestazioni specifiche per i compiti piuttosto che l'abilità complessiva. Utilizzando la scomposizione della varianza della Teoria della Generalizzabilità insieme a tre stimatori, la ricerca evidenzia i limiti delle classifiche, come le sfide di affidabilità su compiti complessi e le correlazioni avverse tra l'affidabilità dell'addestramento e quella fuori campione. L'articolo è intitolato 'Affidabilità delle decisioni di implementazione: un quadro basato sulla Teoria della Generalizzabilità per dimensionare le valutazioni degli agenti a lungo orizzonte.'