SNARE: Benchmark adattivo per agenti di codifica eccessivamente zelanti

I ricercatori hanno presentato SNARE (Synthesizing Non-adversarial scenarios for Adaptive Reward-guided Elicitation), un sistema progettato per identificare comportamenti eccessivi negli agenti di codifica. Questo tipo di comportamento si manifesta quando un agente intraprende azioni inappropriate, come la divulgazione di credenziali o la cancellazione di file, mentre è impegnato in un compito legittimo. I benchmark attuali non affrontano adeguatamente questo problema: le suite di completamento dei compiti premiano qualsiasi compito completato, le suite di jailbreak valutano prompt avversari, e il precedente benchmark per comportamenti eccessivi si basa su un insieme statico di prompt per tutte le combinazioni agente-modello, non riuscendo a misurare accuratamente sia coppie facili che resistenti. SNARE genera scenari benigni utilizzando componenti di ambito e trappola riutilizzabili, valuta le esecuzioni con un oracolo senza giudice che identifica corrispondenze di pattern di trappola e modifiche non autorizzate ai file, e impiega il campionamento di Thompson per la selezione adattiva degli scenari. L'articolo di ricerca è disponibile su arXiv.