MissClick: Nuovo Attacco Sfrutta le Coordinate Serializzate in Cifre nei Modelli di Grounding GUI

Un recente articolo intitolato 'MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models' è stato pubblicato su arXiv (ID: 2608.03740). Questo studio scopre una vulnerabilità di sicurezza nei modelli di visual grounding per GUI, che traducono le coordinate dello schermo in clic azionabili. Questi modelli emettono le coordinate come sequenze di token di cifre che vengono convertite in valori numerici. I ricercatori notano che ogni cifra viene prevista come un token categorico, e modificare la cifra delle centinaia di una unità comporta uno spostamento di 100 unità nella coordinata, portando potenzialmente a un significativo dislocamento del clic. L'articolo delinea strategie di attacco che considerano le caratteristiche numeriche e di valore posizionale delle coordinate di output. Distingue tra attacchi non mirati e mirati, che mirano rispettivamente a spostare i clic fuori dall'area corretta o in una regione designata. L'attacco MissClick è caratterizzato come semplice ed efficace, con rilevanza per la sicurezza delle interfacce basate sull'IA.