Primo attacco adversarial black-box contro i sistemi Deep-OCR

Uno studio recente pubblicato su arXiv (2608.07636) presenta quello che si ritiene essere il primo attacco adversarial black-box puro rivolto a un modello generativo OCR visione-linguaggio, in particolare Deep-OCR (DeepSeek-OCR). Questo metodo di attacco considera il modello come un mezzo di compressione ottica, sfruttando le sue funzioni OCR contestuali estese a costi minimi di token. Gli autori riformulano l'attacco come una sfida di ottimizzazione di ordine zero, impiegando una perdita scalare limitata basata sulla similarità delle sequenze e stimando i gradienti attraverso un approccio alle differenze finite in direzioni casuali, il che garantisce che i costi di interrogazione non siano influenzati dalle dimensioni dell'immagine. Il metodo raggiunge con successo obiettivi sia non mirati che mirati con perturbazioni sottili utilizzando aggiornamenti Adam con proiezione ell_infinity. I test iniziali su Deep-OCR confermano l'efficacia di questa strategia, sottolineando i potenziali rischi per la sicurezza derivanti dalla complessità di tali modelli e la necessità di una maggiore robustezza nelle tecnologie di riconoscimento documentale basate sull'IA.