Cecità alle Regole: I Rilevatori di Conformità Non Leggono i Regolamenti

Un audit che esamina i rilevatori di conformità nei modelli linguistici ha scoperto un problema significativo: questi sistemi, progettati per garantire l'aderenza alle normative sulla protezione dei dati, sanità, supervisione finanziaria e politiche delle piattaforme, sono 'ciechi alle regole'. La ricerca, disponibile su arXiv (2608.16852), mostra che modificare o rimuovere la regola governativa non influisce sull'accuratezza del rilevamento in tutte le guardie e sonde di attivazione valutate. In particolare, anche una guardia condizionata dalla politica che cita accuratamente la clausola governativa mostra poco cambiamento nel suo giudizio quando quella clausola viene sostituita con una più permissiva. I ricercatori hanno creato un benchmark specializzato che combina due regole con due scenari, confermando questa svista in un modo non esplorato in precedenza. Questa rivelazione mette in discussione l'efficacia del monitoraggio della conformità nei modelli linguistici attivi, indicando che i rilevatori possono concentrarsi su aspetti superficiali piuttosto che sulle regole effettive. Lo studio sostiene una rivalutazione della valutazione e dell'implementazione dei rilevatori di conformità, evidenziando la necessità di meccanismi sensibili alle regole.