ARTFEED — Contemporary Art Intelligence

I Vision Transformer Mostrano un Sovradattamento Benigno nell'Addestramento Adversarial, Rivelano Nuove Ricerche

ai-technology · 2026-04-22

Uno studio teorico recente indica che i Vision Transformer (ViT) possono raggiungere un'efficace generalizzazione robusta attraverso l'addestramento adversarial, anche in casi di sovradattamento benigno. Questa ricerca, identificata come arXiv:2604.19724v1, rappresenta la prima esplorazione teorica dell'addestramento adversarial all'interno di framework ViT semplificati. Sebbene i ViT abbiano dimostrato prestazioni impressionanti in numerose attività di visione, rimangono comunque suscettibili a esempi adversarial, analogamente alle Reti Neurali Convoluzionali (CNN). I risultati suggeriscono che, in determinate condizioni—come un budget di perturbazione moderato e un rapporto segnale-rumore specifico—i ViT possono raggiungere una perdita di addestramento robusta e un errore di generalizzazione robusta quasi nulli in scenari specifici. Questa scoperta amplia la comprensione del sovradattamento benigno, precedentemente osservato solo nelle CNN, includendo anche i Vision Transformer.

Fatti principali

  • I Vision Transformer (ViT) rimangono vulnerabili agli esempi adversarial nonostante il loro successo nelle attività di visione
  • L'addestramento adversarial è una comune strategia di difesa empirica per i ViT
  • Le basi teoriche della robustezza dell'addestramento adversarial nei ViT erano precedentemente inesplorate
  • Questo lavoro presenta la prima analisi teorica dell'addestramento adversarial sotto architetture ViT semplificate
  • I ViT possono raggiungere una perdita di addestramento robusta e un errore di generalizzazione robusta quasi nulli in condizioni specifiche
  • Il sovradattamento benigno—una forte generalizzazione nonostante il sovradattamento—si verifica nei ViT con addestramento adversarial
  • Il sovradattamento benigno era stato precedentemente osservato solo nelle Reti Neurali Convoluzionali (CNN) con addestramento adversarial
  • La ricerca è stata pubblicata come arXiv:2604.19724v1 con tipo di annuncio: cross

Entità

—

Fonti