Dimensione di Allineamento Effettiva Predice lo Scaling della Larghezza nelle Reti Residuali

Un nuovo studio teorico ha introdotto la dimensione di allineamento effettiva, che quantifica come si comportano i gradienti di attivazione nelle reti residuali normalizzate. I ricercatori hanno determinato la media e la varianza del prodotto interno tra gradienti di training e test, stabilendo un limite superiore alla probabilità di disallineamento che dipende dalla dimensione di allineamento effettiva e dalla dimensione del campione. Questo limite richiede solo momenti secondi finiti e un gradiente della popolazione non nullo, senza necessità di ipotesi sulla covarianza o sui tassi di crescita. I loro risultati si inseriscono in un quadro per l'espansione dei residui in scenari train-test, presentando una condizione ad alta probabilità per direzioni benefiche in dati non visti. Questa ricerca colma le lacune nelle teorie di scaling della larghezza che tipicamente ignorano le intuizioni provenienti da dati di training finiti.