Leggi di scala nelle reti neurali superficiali collegate alle proprietà spettrali
Una recente indagine teorica pubblicata su arXiv (2509.24882) esamina approfonditamente le leggi di scala applicabili alle reti neurali quadratiche e diagonali nel contesto dell'apprendimento delle caratteristiche. Utilizzando le relazioni con il compressed sensing matriciale e il LASSO, i ricercatori creano un elaborato diagramma di fase che illustra gli esponenti di scala del rischio in eccesso in relazione alla complessità del campione e al weight decay. I loro risultati rivelano transizioni tra vari regimi di scala e comportamenti di plateau, riflettendo tendenze comunemente osservate negli studi empirici sulla scala neurale. In particolare, questa ricerca stabilisce una chiara connessione tra questi regimi e le caratteristiche spettrali dei pesi della rete addestrata, fornendo così un supporto teorico a recenti risultati empirici che collegano il comportamento spettrale a legge di potenza alle leggi di scala. Questo studio amplia il quadro teorico oltre i modelli lineari, aiutando nell'interpretazione dei fenomeni di scala neurale.
Fatti principali
- Lo studio si concentra sulle reti neurali quadratiche e diagonali nel regime di apprendimento delle caratteristiche.
- Utilizza connessioni con il compressed sensing matriciale e il LASSO.
- Viene derivato un diagramma di fase per gli esponenti di scala del rischio in eccesso.
- Sono identificati crossover tra diversi regimi di scala e comportamenti di plateau.
- Viene stabilito un collegamento tra i regimi di scala e le proprietà spettrali dei pesi addestrati.
- Il lavoro fornisce una validazione teorica delle osservazioni empiriche sugli spettri a legge di potenza.
- L'articolo è disponibile su arXiv con ID 2509.24882.
Entità
Istituzioni
- arXiv