Agenti di Codifica Sotto Politiche di Sicurezza: Perdite di Prestazioni e Inflazione dei Costi

Un preprint arXiv (2608.02670) valuta 12 agenti di codifica utilizzando Terminal-Bench 2.1, concentrandosi su livelli di politica di sicurezza annidati ispirati alle tipiche restrizioni aziendali. La ricerca rivela che migliorare la sicurezza comporta costi, che sono inconsistenti: sotto la politica più rigorosa, le perdite di successo possono raggiungere 18,3 punti, con un'inflazione dei costi che sale al 167,3%. C'è un conflitto tra due metriche; il modello che mantiene il successo è quello che subisce la maggiore perdita di efficienza, indicando che la selezione del modello è influenzata dalla politica. Questo studio colma una lacuna nei benchmark attuali che testano principalmente gli agenti in ambienti permissivi, lasciando poco chiaro l'impatto delle politiche imposte. I risultati sono significativi per l'implementazione di agenti di codifica in organizzazioni focalizzate sulla sicurezza.