StateM Runtime raggiunge il 95,3% di precisione su Terminal-Bench 2.1

Uno studio recente pubblicato su arXiv (2608.15089) presenta StateM, un runtime appositamente progettato per agenti che migliora le prestazioni degli agenti AI a lungo orizzonte senza modificare i pesi del modello. Questo sistema struttura l'esecuzione attorno a stati persistenti, contesto rilevante per fasi specifiche, transizioni verificate, runbook recuperabili e procedure con controllo di versione. Nei test con Terminal-Bench 2.1, StateM ha migliorato l'accuratezza di GPT-5.5 xhigh al 92,1%, rispetto a un valore di base dell'83,1%, e ha raggiunto il 91,9% con GPT-5.6 Sol Ultra. Il runbook invariato si applica anche a GPT-5.6. Con GPT-5.6 Sol xhigh, StateM ha raggiunto il 95,3% di accuratezza su 445 prove, completando tutti gli 89 task almeno una volta. Inoltre, il profilo congelato ha migliorato GPT-5.6 Luna dal 76,7% all'85,4%, superando il benchmark Sol xhigh dell'84,9%. L'articolo osserva che gli agenti a lungo orizzonte spesso falliscono nonostante le capacità dei loro modelli, perdendo traccia degli stati mutevoli o non sfruttando le lezioni passate. StateM contrasta queste sfide offrendo un runtime ben strutturato, accessibile sia agli agenti che agli utenti. La ricerca enfatizza lo 'harness scaling' come alternativa valida al model scaling, indicando che i progressi nell'infrastruttura di esecuzione possono portare a notevoli miglioramenti delle prestazioni.