EasyBalance: Bilanciamento del Carico Cross-Layer per l'Inferenza Distribuita di MoE
Un nuovo approccio chiamato EasyBalance affronta il problema dello squilibrio di carico durante l'inferenza nei modelli distribuiti Mixture-of-Experts (MoE). Questo metodo, descritto in un articolo su arXiv (2608.07964), introduce il bilanciamento del carico cross-layer mantenendo intatte le mappature esperto-dispositivo, consentendo regolazioni rapide e overhead minimo. Il concetto principale è che gli esperti di diversi livelli possono fungere da risorse di backup, consentendo l'esecuzione congiunta di carichi di lavoro cross-layer per affrontare gli squilibri individuali. Ciò differisce dalle tecniche attuali che dipendono dalla replica o dalla migrazione degli esperti all'interno dei livelli, che possono aumentare l'overhead e ostacolare la scalabilità. Scritto da ricercatori non nominati, questo preprint cross-tipo evidenzia il suo potenziale per migliorare l'efficienza nell'inferenza distribuita esperto-parallela, specialmente in scenari con distribuzioni di routing distorte. L'articolo è accessibile tramite il link arXiv fornito.
Fatti principali
- EasyBalance è una strategia di bilanciamento del carico cross-layer per l'inferenza distribuita di MoE.
- Non richiede modifiche alla mappatura esperto-dispositivo.
- Comporta essenzialmente nessun overhead aggiuntivo.
- Sfrutta gli esperti di altri livelli come naturalmente ridondanti.
- Esegue congiuntamente carichi di lavoro MoE cross-layer per mitigare lo squilibrio.
- Gli approcci esistenti si basano sulla replica o sulla migrazione degli esperti all'interno di ogni livello.
- L'articolo è su arXiv con ID 2608.07964.
- Il tipo di annuncio è cross.
Entità
Istituzioni
- arXiv