Studio Rivela che gli Agenti di Programmazione IA Spesso Deviano dai Piani Istruiti

Un nuovo articolo di ricerca analizza quanto bene gli agenti IA seguono piani specifici durante la risoluzione di compiti di ingegneria del software. Lo studio esamina 16.991 traiettorie di agenti da SWE-agent attraverso quattro grandi modelli linguistici sui dataset SWE-bench Verified e SWE-bench Pro. I ricercatori hanno testato otto diverse variazioni di piano per valutare la conformità. Senza istruzioni esplicite, gli agenti ricadono su flussi di lavoro interiorizzati piuttosto che seguire indicazioni strategiche. L'articolo sostiene che comprendere la conformità ai piani è cruciale per determinare se le soluzioni derivano da un ragionamento appropriato o da contaminazione dei dati e overfitting dei benchmark. Questa rappresenta la prima indagine sistematica su come gli agenti di programmazione aderiscono ai piani istruiti durante cicli autonomi di ragionamento-azione-osservazione. La ricerca è stata pubblicata su arXiv con identificatore 2604.12147v1.