Quadro Trust-Region per la Stima dei Momenti in Ottimizzatori Adattivi

Un nuovo studio su arXiv (2608.04026) introduce una strategia trust-region per spiegare i metodi di stima adattiva dei momenti, come Adam, nell'ottimizzazione stocastica del gradiente. Questo approccio mantiene gli aggiornamenti dei pesi all'interno di una regione di fiducia definita da un vincolo sui momenti che va dall'ordine 2 al 4. Ciò porta a varie tecniche di tasso di apprendimento basate sulla stima del secondo momento e del p-esimo momento, con p=4 collegato alla stima simile alla curtosi. Denominato Gmake, questo metodo combina la normalizzazione tramite stima dei momenti, la pianificazione del tasso di apprendimento, il momento tramite filtraggio passa-basso spettrale e la normalizzazione spettrale a livello di operatore. I test con GPT2-124M su FineWeb-Edu e TinyStories suggeriscono che l'uso del quarto momento dà risultati incoraggianti. Il team di ricerca ha classificato questo come un invio di tipo trasversale, fornendo una base teorica per l'ottimizzazione adattiva nell'apprendimento profondo.