Piper Framework Ottimizza l'Addestramento su Larga Scala di MoE su Piattaforme HPC

Un nuovo framework noto come Piper affronta i limiti prestazionali riscontrati durante l'addestramento di modelli Mixture-of-Experts (MoE) su sistemi di calcolo ad alte prestazioni (HPC). Sebbene le architetture MoE stiano guadagnando terreno nei modelli AI all'avanguardia grazie alla loro efficienza, incontrano ostacoli come grandi richieste di memoria, estese esigenze di comunicazione su reti diverse e significative disparità di carico di lavoro. Piper impiega un modello matematico per valutare le esigenze di memoria, calcolo e comunicazione attraverso diversi metodi di parallelizzazione, convalidato tramite micro-benchmarking, strumentazione del codice e profilazione hardware. Identifica i colli di bottiglia critici, tra cui la latenza all-to-all dovuta al parallelismo degli esperti e la bassa utilizzazione della GPU causata da skinny GEMM non uniformi. Utilizzando la modellazione delle risorse, Piper migliora l'efficienza dell'addestramento attraverso strategie efficaci di parallelismo ibrido pipeline.