L'ottimizzatore GO-MUON migliora Muon con geometria dipendente dai dati
Il recente articolo su arXiv, identificato dall'ID 2608.09763, presenta GO-MUON, un innovativo ottimizzatore che sfrutta la tecnologia Muon. GO-MUON incorpora in modo unico una geometria dipendente dai dati abbinata, utilizzata in più passaggi di ottimizzazione. Eccelle negli aggiornamenti polari per geometria spettrale non pesata e fornisce soluzioni esatte per oracoli spettrali pesati. I risultati indicano che il fattore backward per l'etichetta osservata per la softmax cross-entropy si allinea strettamente con il Fisher del modello e il fattore generalized Gauss-Newton. Inoltre, un aggiornamento in quattro passaggi mantiene efficacemente il ritardo di tracciamento in geometrie che cambiano lentamente, mentre la geometria pigra è inquadrata come un compromesso tra calcolo e statistica.
Fatti principali
- L'articolo introduce GO-MUON, un ottimizzatore basato su Muon.
- GO-MUON utilizza una geometria dipendente dai dati abbinata e riutilizzata nei passaggi di ottimizzazione.
- L'aggiornamento polare di Muon è esatto per geometria spettrale non pesata.
- L'aggiornamento grezzo di GO-MUON risolve esattamente l'oracolo spettrale pesato.
- Per la softmax cross-entropy, il fattore backward per l'etichetta osservata si avvicina al Fisher del modello e al fattore generalized Gauss-Newton.
- Un aggiornamento in quattro passaggi preserva quasi il ritardo di tracciamento di geometrie che cambiano lentamente.
- La geometria pigra è un compromesso tra calcolo e statistica, non un meccanismo di denoising.
- L'articolo è su arXiv con ID 2608.09763.
Entità
Istituzioni
- arXiv