CMuon Optimizer Migliora l'Efficienza dell'Addestramento dei Transformer Diffusivi

Un nuovo metodo di ottimizzazione chiamato Chunked Muon (CMuon) è stato sviluppato dai ricercatori per migliorare e stabilizzare il processo di addestramento dei Diffusion Transformers (DiTs), che sono all'avanguardia nella modellazione generativa visiva. Questo approccio innovativo è descritto in un articolo disponibile su arXiv (ID: 2608.02502). Lo studio affronta un problema significativo nell'addestramento dei DiT: l'uso dell'ottimizzatore Momentum Orthogonalization (Muon), che, pur essendo un'alternativa valida ad AdamW, porta a una convergenza meno efficace nelle fasi successive. Gli autori individuano il problema nella fusione di pesi distinti all'interno dei layer AdaLN e QKV in tensori unici, causando un accoppiamento implicito di sottospazi che interrompe l'ottimizzazione. CMuon risolve questo problema dividendo queste matrici in componenti separate prima dell'ortogonalizzazione. Test approfonditi mostrano che CMuon migliora notevolmente l'efficienza e la stabilità dell'addestramento, in particolare con un modello da 675M parametri. Questa svolta potrebbe ridurre i costi computazionali dell'addestramento di grandi modelli generativi, aumentandone l'accessibilità. Gli autori dell'articolo sono affiliati a un'istituzione non divulgata, e l'annuncio è avvenuto in una data non specificata.