Teoremi di Approssimazione Universale per Reti Neurali: Una Rassegna
Una nuova rassegna su arXiv riesamina i teoremi di approssimazione universale per le reti neurali, tracciando la loro evoluzione da risultati qualitativi di densità a una ricca teoria quantitativa. L'articolo copre risultati classici per reti a singolo strato nascosto e limiti moderni che collegano l'errore di approssimazione alla dimensione della rete e alle ipotesi di regolarità. Particolare enfasi è posta sui compromessi profondità-larghezza e sui vantaggi delle architetture più profonde. La rassegna fornisce una spiegazione matematica del potere espressivo delle reti neurali, affermando la densità in classi di funzioni come le funzioni continue su sottoinsiemi compatti di R^d, spazi L^p e spazi di Sobolev sotto condizioni di attivazione deboli.
Fatti principali
- L'articolo arXiv 2605.21451 esamina la teoria dell'approssimazione per le reti neurali.
- I teoremi di approssimazione universale spiegano il potere espressivo delle reti neurali.
- Le reti feedforward sono dense nelle funzioni continue su sottoinsiemi compatti di R^d.
- La densità vale anche negli spazi L^p e negli spazi di Sobolev.
- La teoria si è evoluta da qualitativa a quantitativa in quattro decenni.
- I limiti quantitativi collegano l'errore di approssimazione alla dimensione della rete.
- I compromessi profondità-larghezza sono un focus chiave.
- Architetture più profonde possono raggiungere tassi di approssimazione migliori.
Entità
Istituzioni
- arXiv