RAMP: Un Nuovo Benchmark per la Valutazione di Agenti AI nell'Ingegneria del Software nel Mondo Reale

RAMP è stato presentato dai ricercatori come un framework orientato alla produzione progettato per valutare agenti di ingegneria del software a lungo orizzonte. Questo sistema si basa sulla piattaforma integrata YatCC, offrendo una struttura di valutazione runtime coesa attraverso interfacce di esecuzione e orchestrazione standardizzate. Incorpora carichi di lavoro realistici per la costruzione di compilatori che presentano dipendenze seriali e interazioni complesse con la toolchain, nonché un meccanismo di recupero a fasi. RAMP mira a superare le carenze degli attuali metodi di valutazione, che dipendono da benchmark statici, isolati e a breve termine che non rappresentano adeguatamente le complessità dinamiche dei flussi di lavoro produttivi reali. L'obiettivo è fornire un riflesso più accurato delle capacità pratiche in scenari runtime realistici, incluse lunghe catene di esecuzione e cicli di feedback iterativi.