Muon Optimizer supera Adam nelle reti neurali equivarianti
Un nuovo studio da arXiv (2605.27662) confronta gli ottimizzatori Muon e Adam su architetture equivarianti e geometriche per l'apprendimento su nuvole di punti e molecole. Su ModelNet40, Muon migliora costantemente Adam su tutte le architetture. L'analisi dei checkpoint addestrati rivela che Muon produce curvature Hessiane maggiori ma superfici di perdita più regolari, con proprietà spettrali distinte nei pesi appresi e nelle rappresentazioni intermedie. La ricerca evidenzia il ruolo poco esplorato degli ottimizzatori nelle reti equivarianti, suggerendo che la scelta dell'ottimizzatore modella significativamente le soluzioni apprese.
Fatti principali
- Lo studio confronta gli ottimizzatori Muon e Adam su reti neurali equivarianti
- Il benchmark ModelNet40 mostra che Muon supera costantemente Adam
- L'analisi include stime Hessiane, visualizzazioni della superficie di perdita e proprietà spettrali
- I checkpoint di Muon hanno curvatura Hessiana maggiore ma superfici di perdita più regolari
- La ricerca si concentra su nuvole di punti e apprendimento molecolare
- L'articolo è disponibile su arXiv con ID 2605.27662
- Il ruolo dell'ottimizzatore nelle reti equivarianti è relativamente poco esplorato
- Modifiche architetturali come il rilassamento dei vincoli sono un approccio alternativo comune
Entità
Istituzioni
- arXiv