Preprint arXiv Introduce la Discesa del Gradiente Naturale con Momento per l'Ottimizzazione su Varietà Non Lineari

Un preprint disponibile su arXiv (ID: 2604.15554v1) discute l'uso della discesa del gradiente naturale (NGD) con momento per l'approssimazione di funzioni tramite varietà non lineari. La ricerca si concentra su scenari di ottimizzazione in cui le funzioni sono rappresentate da elementi provenienti da varietà parametrizzate differenziabili, incluse reti neurali con funzioni di attivazione differenziabili e reti tensoriali. La NGD è definita come un approccio di discesa del gradiente precondizionato che aggiorna i parametri basandosi su una prospettiva funzionale. A differenza dell'Hessiano, utilizza la matrice di Gram del sistema generatore dello spazio tangente all'iterazione corrente, portando ad aggiornamenti localmente ottimali nello spazio delle funzioni proiettando i gradienti sullo spazio tangente della varietà. Lo studio evidenzia che sia i metodi di discesa del gradiente che quelli del gradiente naturale possono rimanere bloccati in minimi locali, specialmente quando si ha a che fare con varietà non lineari o paesaggi di ottimizzazione complessi. Questo annuncio è classificato come cross, sottolineando la sua rilevanza interdisciplinare. I risultati migliorano le metodologie di ottimizzazione nell'apprendimento automatico e nella matematica computazionale.