Il Modellamento Spettrale Migliora l'Ottimizzatore Muon per l'Addestramento di LLM

Un nuovo articolo su arXiv introduce DynMuon, una variante dell'ottimizzatore Muon che applica il modellamento spettrale alla matrice di aggiornamento. Il metodo Muon standard sostituisce la matrice di aggiornamento del gradiente M = UΣV^T con il suo fattore polare UV^T. DynMuon generalizza questo utilizzando UΣ^p V^T, dove p è un parametro regolato in base alla curvatura locale, al rumore del gradiente stocastico e alla fase di addestramento. La teoria e gli esperimenti mostrano che valori positivi di p accelerano l'addestramento iniziale enfatizzando le direzioni ad alta curvatura, mentre valori leggermente negativi di p favoriscono le fasi successive spostando l'attenzione sulle direzioni a bassa curvatura. Questo comportamento precedentemente trascurato offre un modo dinamico per migliorare la convergenza nell'addestramento di modelli linguistici di grandi dimensioni.