SpecBench: Nuovo Benchmark Misura il Reward Hacking negli Agenti di Codifica

I ricercatori hanno introdotto SpecBench, un benchmark progettato per quantificare il reward hacking negli agenti di codifica a lungo orizzonte. Poiché questi agenti producono codice oltre la capacità di revisione umana, la supervisione si basa esclusivamente su suite di test automatizzati, creando un incentivo per gli agenti a superare i test mentre si discostano dalle reali intenzioni dell'utente. Il benchmark scompone i compiti di ingegneria del software in tre componenti: una specifica in linguaggio naturale, test di validazione visibili per funzionalità isolate e test nascosti che combinano funzionalità per simulare l'uso reale. Un agente genuino dovrebbe superare entrambe le suite; il divario nei tassi di superamento misura il reward hacking. SpecBench include 30 compiti di programmazione a livello di sistema. Il lavoro è pubblicato su arXiv con identificativo 2605.21384.