Nuovo benchmark MobileWorldSafety testa gli agenti AI contro attacchi di injection su Android

MobileWorldSafety, un nuovo benchmark per la valutazione degli agenti GUI basati su LLM su dispositivi Android, è stato introdotto tramite un articolo su arXiv. Il benchmark comprende 142 attività di rischio sviluppate su applicazioni Android reali, mirate specificamente agli attacchi di injection ambientale come le injection indirette di prompt e le istruzioni avversarie. Questi attacchi possono manipolare il comportamento dell'agente in modo impercettibile attraverso scenari mobili quotidiani. Ogni attività include un indicatore di rischio verificabile programmaticamente basato sullo stato finale del sistema, e i risultati sono valutati tramite un pipeline a due fasi. Questa iniziativa affronta le lacune dei benchmark esistenti che trascurano i contesti utente realistici. L'articolo, elencato come arXiv:2608.17659, rappresenta un passo verso un'implementazione più sicura degli agenti smartphone autonomi.