Dinamiche Spettrali in Reti Neurali Larghe: Un'Analisi DMFT a Due Livelli
Un nuovo quadro teorico pubblicato su arXiv (2605.07870) esplora come gli spettri dei pesi nascosti evolvono in reti neurali larghe addestrate tramite discesa del gradiente. I ricercatori presentano una teoria di campo medio dinamico (DMFT) a due livelli che esamina sia il comportamento spettrale generale che quello outlier in insiemi spike, dove le direzioni degli spike sono correlate con il bulk casuale. Questo approccio viene utilizzato in due scenari: reti non lineari di larghezza infinita sotto scaling mean-field/μP e reti lineari profonde in un contesto proporzionale ad alta dimensionalità. Il quadro prevede come gli outlier evolvono con il tempo di addestramento, la larghezza della rete, la scala di output e la varianza di inizializzazione. Sottolinea la relazione tra la dinamica degli outlier e la larghezza, gettando luce sull'apprendimento delle caratteristiche in reti profonde.
Fatti principali
- L'articolo è su arXiv con ID 2605.07870.
- Studia le dinamiche spettrali in reti neurali larghe.
- Viene sviluppata una teoria di campo medio dinamico (DMFT) a due livelli.
- Il quadro si applica a insiemi spike con direzioni degli spike dipendenti.
- Due impostazioni sono analizzate: reti non lineari di larghezza infinita (scaling μP) e reti lineari profonde (limite proporzionale).
- L'evoluzione degli outlier dipende dal tempo di addestramento, larghezza, scala di output e varianza di inizializzazione.
- Nelle reti lineari profonde, μP porta a dinamiche degli outlier coerenti con la larghezza e trasferimento degli iperparametri.
- La parametrizzazione NTK mostra un comportamento degli outlier fortemente dipendente dalla larghezza.
Entità
Istituzioni
- arXiv