SREGym: Benchmark ad alta fedeltà per agenti AI di Site Reliability Engineering

SREGym è un nuovo benchmark per valutare agenti AI nel Site Reliability Engineering (SRE). Fornisce un ambiente di sistema live basato su stack cloud-native reali, simulando scenari di guasto ad alta fedeltà tramite iniettori di guasti. Il benchmark modella la complessità produttiva con guasti a vari livelli, rumori ambientali e modalità di guasto come guasti metastabili e correlati. SREGym è modulare ed estensibile, includendo attualmente 90 problemi SRE realistici. È stato utilizzato per valutare agenti AI all'avanguardia, sebbene i risultati specifici non siano dettagliati nell'abstract. Il lavoro è stato annunciato su arXiv con ID 2605.07161.