Nuovo articolo mostra dipendenza quadratica dalla profondità nella regressione ReLU profonda

Un articolo recentemente pubblicato su arXiv (2608.17434) esamina la regressione gaussiana utilizzando il framework profondo RBV² vettoriale di Parhi–Nowak, caratterizzato da profondità L, larghezza w, un budget di variazione della somma di strati A e un vincolo di output B. Questa architettura comprende O(Lw²) parametri, con limiti di errore esistenti che differiscono di un fattore di profondità. Gli autori creano un impaccamento locale che rivela l'intrinseca dipendenza quadratica dalla profondità sotto una specifica condizione di raggio dipendente dalla dimensione del campione. Questo impaccamento mostra una cardinalità logaritmica di circa L²w² log w, con parole in codice situate in una palla L² O(lambda) e distanziate a coppie di Omega(lambda). Le tecniche essenziali includono un teorema di approssimazione a coefficienti limitati con correzione del bias e l'amplificazione bilanciata, che facilita la moltiplicazione di una rete ReLU di profondità D per q utilizzando un singolo canale costante, assicurando che ogni coefficiente aumenti solo di q^(1/D). Quando applicato a blocchi RBV² vettoriali, ciò comporta una spesa di somma di strati di O(Dw² q^(1/D)). Il Fano gaussiano fornisce successivamente un limite inferiore esplicito in termini di raggio, chiarendo l'importanza della profondità in questo contesto di regressione.