Geometric Monomial (GEM): Una Famiglia di Funzioni di Attivazione Smooth per Reti Neurali Profonde
È stato lanciato un nuovo insieme di funzioni di attivazione chiamate Geometric Monomial (GEM) per reti neurali profonde. GEM include tre varianti: la GEM standard, E-GEM, che aggiunge un parametro ε per una migliore approssimazione L^p di ReLU, e SE-GEM, una versione a tratti che gestisce i neuroni morti utilizzando la smoothness C^{2N}. Queste funzioni offrono smoothness e aritmetica razionale, comportandosi in modo simile a ReLU. Uno studio di N-ablation ha mostrato che impostare N a 1 è ottimale per reti di profondità standard, riducendo il divario GELU su CIFAR-100 con ResNet-56 dal 6,10% al 2,12%. Il parametro di smoothness N suggerisce anche un equilibrio tra CNN e transformer. Puoi consultare questa ricerca su arXiv con ID 2604.21677.
Fatti principali
- 1. GEM sta per Geometric Monomial.
- 2. Le funzioni di attivazione sono C^{2N}-smooth.
- 3. Tre varianti: GEM, E-GEM, SE-GEM.
- 4. E-GEM permette l'approssimazione L^p arbitraria di ReLU.
- 5. SE-GEM elimina i neuroni morti.
- 6. N=1 è ottimale per reti di profondità standard.
- 7. Il deficit GELU ridotto dal 6,10% al 2,12% su CIFAR-100 + ResNet-56.
- 8. ID arXiv: 2604.21677.
Entità
—