Confusione dei Confini di Fiducia nei Sistemi Agentici Visione-Linguaggio

Un nuovo studio da arXiv (2604.19844) identifica una vulnerabilità di sicurezza nei Sistemi Agentici Visione-Linguaggio (VLAS) incarnati, basati su grandi modelli visione-linguaggio (LVLM). La ricerca introduce il concetto di "confusione dei confini di fiducia", in cui gli agenti faticano a distinguere tra segnali ambientali legittimi (es. semafori) e iniezioni visive ingannevoli progettate per sovrascrivere l'intenzione dell'utente. Gli autori hanno progettato un dataset a doppia intenzione e un framework di valutazione, testando 7 agenti LVLM e scoprendo che ignorano segnali utili o seguono quelli dannosi. Il lavoro evidenzia una sfida fondamentale nel distribuire sistemi di IA che percepiscono scene del mondo reale.