Miscuglio di Esperti Eterogenei Raggruppati per una Modellazione Linguistica Efficiente

Un recente articolo pubblicato su arXiv introduce il Miscuglio di Esperti Eterogenei Raggruppati (MoHGE) per affrontare le carenze dei tradizionali modelli Mixture-of-Experts (MoE) nei Large Language Models (LLM). I MoE convenzionali impongono dimensioni uniformi agli esperti, portando a un'inflessibilità che non corrisponde alle richieste computazionali con la variabile complessità dei token. Sebbene i progetti di esperti eterogenei mirino a diversificare le dimensioni degli esperti, lottano con un utilizzo non uniforme della GPU e una scarsa efficienza dei parametri. MoHGE presenta un sistema di routing a due livelli per combinazioni di esperti adattabili e attente alle risorse, e suggerisce una Group-Wise Auxiliary Loss per indirizzare efficacemente i token verso gli esperti più efficienti, migliorando le prestazioni di inferenza. L'articolo è disponibile su arXiv con l'ID 2604.23108.