Il dithering Floyd-Steinberg multilivello potenzia la robustezza avversaria nei modelli di visione
C'è un nuovo studio su arXiv (2605.23065) che presenta un metodo leggero e innovativo per difendere i modelli di visione foundation dagli attacchi avversari utilizzando una tecnica chiamata dithering Floyd-Steinberg a diffusione dell'errore multilivello. Questo metodo riduce con successo il rumore avversario mantenendo intatta l'accuratezza semantica. A differenza degli studi precedenti, che consideravano solo il dithering binario per un singolo modello piccolo su CIFAR-10 in scala di grigi, questa ricerca valuta sei diversi compiti, tra cui classificazione e segmentazione, su due famiglie di modelli, DINOv2 e PaliGemma. Inoltre, testa tre livelli crescenti di attacchi e un attaccante adattivo. I risultati mostrano che l'uso del dithering Floyd-Steinberg con livelli di quantizzazione intermedi, specialmente con una leggera sfocatura post-elaborazione, funziona altrettanto bene o meglio di tutti i metodi di base.
Fatti principali
- Il preprint arXiv 2605.23065 propone il dithering Floyd-Steinberg multilivello per la difesa avversaria.
- Il metodo è leggero e indipendente dal modello.
- Valutato su sei compiti: classificazione, segmentazione, stima della profondità, recupero, didascalia, risposta a domande visive.
- Due famiglie di modelli testate: DINOv2 e PaliGemma.
- Tre attacchi utilizzati: PGD, MI-FGSM, SIA.
- Incluso un attaccante adattivo con stimatore a percorso diretto.
- I livelli di quantizzazione intermedi con sfocatura post-elaborazione producono i migliori risultati.
- I lavori precedenti erano limitati al dithering binario, CIFAR-10 in scala di grigi e un singolo modello piccolo.
Entità
Istituzioni
- arXiv