La scelta dello scaffold può variare il costo in token di 40x negli agenti di codifica

Un recente preprint su arXiv (2607.22585) indica che la selezione dello scaffold—il componente software che supervisiona l'uso degli strumenti, il contesto e i criteri di terminazione—può influenzare l'utilizzo dei token fino a 40 volte per ogni task risolto dagli agenti di codifica, sebbene le variazioni del tasso di superamento siano limitate a 0-8 punti percentuali. I ricercatori hanno testato Qwen 3.6 Plus e MiniMax M2.5 utilizzando tre harness open-source (Goose, OpenCode, OpenHands-SDK) su un sottoinsieme attentamente selezionato di 50 task da Terminal-Bench Pro. Gli intervalli di confidenza bootstrap (95%) all'interno dello stesso modello non hanno mostrato differenze significative, tranne che per la disparità maggiore. I pattern di fallimento identificati—REASON per Goose, VERIFY/MAX_TURNS per OpenHands-SDK e idle-loop/TIME per OpenCode—sono risultati coerenti tra i modelli, suggerendo bias a livello di harness che sono per lo più indipendenti dal modello. I risultati evidenziano che le classifiche pubbliche mescolano l'influenza del modello e dello scaffold, sostenendo la necessità di criteri standardizzati per gli harness al fine di garantire confronti equi.