La simmetria nelle reti sovraparametrizzate migliora l'ottimizzazione
Un recente studio teorico pubblicato su arXiv (2604.25150) indica che la sovraparametrizzazione nelle reti neurali crea simmetrie nello spazio dei pesi che facilitano l'ottimizzazione. Queste simmetrie funzionano come un precondizionamento diagonale sull'Hessiana, portando a minimi meglio condizionati all'interno di insiemi di soluzioni funzionalmente simili. Inoltre, la sovraparametrizzazione aumenta la probabilità di trovare minimi globali vicini alle inizializzazioni standard, rendendoli più accessibili. Esperimenti con reti teacher-student dimostrano che l'aumento della larghezza comporta una diminuzione della traccia dell'Hessiana, un miglioramento dei numeri di condizione e una convergenza più rapida. Questa ricerca offre un quadro completo per comprendere i vantaggi della sovraparametrizzazione nell'ottimizzazione dei modelli di deep learning.
Fatti principali
- 1. La sovraparametrizzazione introduce ulteriori simmetrie nello spazio dei pesi nelle reti neurali.
- 2. Le simmetrie agiscono come precondizionamento diagonale sull'Hessiana.
- 3. All'interno di ogni classe di equivalenza di soluzioni funzionalmente identiche esistono minimi meglio condizionati.
- 4. La sovraparametrizzazione aumenta la massa di probabilità dei minimi globali vicino alle inizializzazioni tipiche.
- 5. Esperimenti con reti teacher-student convalidano le previsioni teoriche.
- 6. All'aumentare della larghezza, la traccia dell'Hessiana diminuisce e i numeri di condizione migliorano.
- 7. La convergenza accelera con l'aumento della larghezza.
- 8. L'analisi fornisce un quadro unificato per comprendere i benefici della sovraparametrizzazione.
Entità
Istituzioni
- arXiv