EntropyMoE: Routing Sparso degli Esperti Basato sull'Entropia per LLM Senza Tokenizer

Una recente sottomissione su arXiv (2608.06398) presenta EntropyMoE, un framework innovativo di Mixture-of-Experts (MoE) progettato per modelli di linguaggio di grandi dimensioni (LLM) senza tokenizer che funzionano con patch di byte dinamiche. Questo studio affronta una sfida presente nei modelli a patch di byte attuali, che applicano uniformemente calcoli feed-forward densi su tutte le patch, trascurando di adattare la capacità del modello in base alle variazioni semantiche e di granularità delle patch. EntropyMoE sostituisce i componenti feed-forward densi nel Transformer globale a patch con layer di esperti Top-K, utilizzando ogni patch dinamica per il routing degli esperti. Il processo di routing è informato dall'entropia della patch, lo stesso segnale impiegato nella creazione dinamica delle patch, con entropia e lunghezza della patch che definiscono congiuntamente lo spazio delle caratteristiche di routing. Questo metodo migliora l'efficienza del calcolo sparso, potenzialmente aumentando le prestazioni negli LLM senza tokenizer.