Anon Optimizer Colma il Divario tra SGD e Adam con Adattività Regolabile
I ricercatori propongono Anon, un nuovo ottimizzatore con adattività continuamente regolabile che interpola tra comportamenti simili a SGD e Adam e si estrapola oltre entrambi. L'innovazione chiave è l'incremental delay update (IDU), un meccanismo più flessibile del hard max-tracking di AMSGrad, che migliora la robustezza al rumore del gradiente. Il metodo affronta il divario di generalizzazione degli ottimizzatori adattivi come Adam su architetture classiche come le CNN. La convergenza teorica è stabilita per l'intero spettro di adattività. Il lavoro è pubblicato su arXiv con identificatore 2605.02317.
Fatti principali
- L'ottimizzatore Anon consente la regolazione continua dell'adattività in R.
- Il meccanismo IDU sostituisce il hard max-tracking di AMSGrad.
- Mira al divario di generalizzazione di Adam sulle CNN.
- La convergenza teorica è dimostrata per l'intero spettro di adattività.
- Pubblicato su arXiv:2605.02317.
- Gli ottimizzatori adattivi come Adam generalizzano peggio di SGD su architetture classiche.
- Anon può interpolare tra i comportamenti di SGD e Adam.
- L'IDU migliora la robustezza al rumore del gradiente.
Entità
Istituzioni
- arXiv