La sicurezza degli agenti come contratto runtime: un nuovo paradigma per la progettazione di harness AI

Un recente articolo su arXiv (2608.11274) sostiene che garantire la sicurezza dell'IA per gli agenti autonomi dovrebbe avvenire durante l'esecuzione (runtime) tramite harness piuttosto che attraverso l'addestramento. Gli autori sostengono che le tecniche di addestramento esistenti, come RLHF, DPO e IA costituzionale, sono intrinsecamente inadeguate per agenti che possono eseguire codice, modificare file, comunicare e aggiornare database. Introducono un contratto runtime duale: un aspetto preventivo che limita azioni dannose tramite sandbox, gate di autorizzazione, filtri di output e monitor di traiettoria, e un aspetto probatorio che impone prove verificabili di azioni positive, collegando le sottomissioni di attività a prove concrete come esecuzioni di test, catture di log, diff di file e citazioni fondate. L'articolo supporta le sue affermazioni con quattro linee di evidenza pubblica, inclusa un'indagine su 52 incidenti di sicurezza documentati che coinvolgono agenti IA e LLM, nonché un audit di 31 completamenti falsi non contestati, con protocolli dettagliati e dati disponibili in file JSON supplementari. Questo lavoro segna un notevole cambiamento nelle prospettive sulla sicurezza degli agenti IA, evidenziando il ruolo critico dell'ambiente runtime rispetto agli interventi di addestramento.