Topologie di rete per il servizio MoE LLM economicamente vantaggioso

Un nuovo studio da arXiv (2605.00254) mette in discussione la necessità di costose reti di scale-up ad alta larghezza di banda per il servizio di modelli linguistici di grandi dimensioni (LLM) basati su mixture-of-experts (MoE). Gli autori presentano la prima analisi sistematica cross-layer del rapporto costo-efficacia della rete, confrontando quattro topologie XPU (ad es. GPU/TPU) rappresentative: scale-up, scale-out, toro 3D e maglia completa 3D. Scoprono che le topologie senza switch a basso costo migliorano il rapporto costo-efficacia del 20,6-56,2% rispetto allo scale-up in tutti gli scenari. La topologia a maglia completa 3D è Pareto-ottimale nel compromesso prestazioni-costo. Le attuali larghezze di banda dei collegamenti di scale-up sono sovradimensionate; ridurre la larghezza di banda migliora il throughput. La ricerca suggerisce che costosi investimenti infrastrutturali potrebbero non essere strettamente necessari per il servizio MoE LLM.