Dion3 Riduce l'Overhead di Muon di 6 Volte

Un nuovo ottimizzatore chiamato Dion3, descritto in un preprint su arXiv (2608.11612), riduce significativamente il costo computazionale e di comunicazione dell'ottimizzatore Muon. Muon, noto per la sua efficacia, soffre di un passaggio di ortogonalizzazione Newton-Schulz di complessità cubica, che diventa particolarmente costoso quando i pesi sono frammentati su più dispositivi. Dion3 affronta questo problema a più livelli: introduce un algoritmo Gram Newton-Schulz per ridurre i costi FLOP, utilizza kernel CuteDSL che sfruttano la simmetria per un calcolo più veloce, e impiega una strategia di megabatching per ridurre l'overhead di comunicazione. Inoltre, la regola di aggiornamento è modificata per ortogonalizzare solo una frazione delle righe della matrice del momento ad ogni passo, riducendo ulteriormente i costi. Questo approccio migliora una versione compressa precedente chiamata Dion, ottenendo maggiore velocità e prestazioni. In generale, Dion3 eguaglia o migliora la perdita ottenuta da Muon riducendo il tempo di passo dell'ottimizzatore fino a 6 volte. Il metodo è disponibile tramite il link fornito.