Nuovi Limiti di Generalizzazione per Reti Neurali Sovraparametrizzate

Un nuovo articolo su arXiv introduce limiti di complessità dipendenti dall'inizializzazione per reti neurali shallow sovraparametrizzate. La ricerca affronta la proprietà del benign overfitting, per cui le reti generalizzano bene nonostante abbiano più parametri che esempi di addestramento. Le analisi esistenti che utilizzano la distanza dalla norma di Frobenius dall'inizializzazione spesso producono limiti vacui. Gli autori propongono limiti basati sulla path-norm della distanza dall'inizializzazione, derivati tramite una nuova tecnica di peeling per funzioni di attivazione Lipschitz generali. Questo lavoro mira a fornire garanzie teoriche non vacue per modelli sovraparametrizzati.