Il Benchmark PhantomPolicy Rivela le Violazioni Nascoste delle Politiche da Parte degli Agenti LLM

Un recente articolo di ricerca svela il concetto di 'violazioni invisibili alle politiche' negli agenti basati su LLM, dove le azioni possono sembrare valide ma in realtà violano le politiche organizzative a causa di una mancanza di comprensione contestuale. Lo studio introduce PhantomPolicy, un benchmark che comprende otto categorie di violazioni con una distribuzione equa di casi di violazione e controlli sicuri. I ricercatori hanno esaminato 600 tracce di modelli provenienti da cinque modelli avanzati, scoprendo che la revisione manuale ha modificato 32 etichette (5,3%) rispetto alle annotazioni iniziali a livello di caso, sottolineando l'importanza della valutazione umana a livello di traccia. Questo benchmark testa specificamente la capacità degli agenti di rilevare violazioni utilizzando risposte di strumenti che includono dati aziendali puliti privi di metadati sulle politiche. L'articolo, identificato come arXiv:2604.12177v1, contribuisce al dibattito sulla sicurezza dell'IA e sull'applicazione delle politiche.