Modi di Goldstone Consentono una Profonda Propagazione del Segnale nelle Reti Neurali
Un nuovo studio da arXiv (2605.14685) dimostra che le reti neurali profonde con equivarianza a simmetria continua possono supportare modi simili a quelli di Goldstone, consentendo una propagazione coerente del segnale attraverso la profondità e iterazioni ricorrenti senza stabilizzatori architetturali come connessioni residue o normalizzazione. I ricercatori mostrano analiticamente ed empiricamente che questi gradi di libertà migliorano la addestrabilità e la diversità rappresentativa nelle reti feedforward, e potenziano la memoria a lungo termine in contesti ricorrenti propagando informazioni attraverso le iterazioni. Il lavoro traccia un'analogia con la rottura spontanea di simmetria in fisica, dove i modi di Goldstone permettono la propagazione di informazioni su lunghe distanze e tempi.
Fatti principali
- L'articolo arXiv 2605.14685 studia reti neurali profonde con equivarianza a simmetria continua.
- I modi simili a quelli di Goldstone consentono una propagazione coerente del segnale attraverso la profondità e iterazioni ricorrenti.
- Il meccanismo funziona senza connessioni residue o normalizzazione.
- Le reti feedforward mostrano una migliore addestrabilità e diversità rappresentativa.
- I contesti ricorrenti beneficiano di memoria a lungo termine tramite i modi di Goldstone.
- Analogia con la rottura spontanea di simmetria in fisica.
- Fornite prove sia analitiche che empiriche.
Entità
Istituzioni
- arXiv