Equivarianza alla Normalizzazione Ottenuta tramite Wrapper Input-Output per Qualsiasi Backbone
Un nuovo metodo chiamato WNE (Wrapper Normalization Equivariance) impone l'equivarianza alla normalizzazione—robustezza ai cambiamenti globali di contrasto e luminosità—su qualsiasi backbone immagine-immagine senza modificare i layer interni. L'intuizione chiave è che una funzione è equivariante alla normalizzazione se e solo se può essere scomposta come normalizza-processo-denormalizza. Ciò consente a un wrapper senza parametri di imporre la proprietà attorno ad architetture arbitrarie, inclusi transformer con attenzione e LayerNorm. In un test diagnostico a singolo rumore per la denoising cieco di immagini, WNE ha migliorato la robustezza sia di CNN che di transformer senza overhead GPU misurabile, mentre le baseline NE architetturali precedenti subivano un rallentamento fino a 1.6x. Il lavoro caratterizza l'intera classe di funzioni NE e trasforma l'imposizione da un vincolo interno a un problema di parametrizzazione input-output.
Fatti principali
- 1. L'Equivarianza alla Normalizzazione (NE) è l'equivarianza alle trasformazioni globali di contrasto e luminosità.
- 2. I metodi esistenti vincolano i layer interni a famiglie compatibili con NE, limitando la compatibilità con attenzione e LayerNorm.
- 3. WNE è un wrapper senza parametri che impone NE attorno a qualsiasi backbone.
- 4. Il metodo si basa sulla fattorizzazione: normalizza-processo-denormalizza.
- 5. WNE migliora la robustezza di CNN e transformer nella denoising cieco.
- 6. Nessun overhead GPU misurabile con WNE.
- 7. Le baseline NE architetturali subiscono un rallentamento fino a 1.6x.
- 8. L'approccio trasforma l'imposizione di NE in un problema di parametrizzazione input-output.
Entità
Istituzioni
- arXiv