UniMoMo: Compressione Post-Addestramento di MoE per Modelli di Raccomandazione
Uno studio recente presenta UniMoMo, un framework progettato per la compressione post-addestramento dei layer sparsi mixture-of-experts (MoE) all'interno di modelli di raccomandazione su larga scala. Questo approccio affronta la sfida di trasformare un checkpoint addestrato con un insieme completo di esperti in un MoE standard più compatto che rispetti un budget di esperti specificato, senza introdurre un modulo online dedicato alla compressione. UniMoMo tratta questo problema come un problema di coarsening di grafi vincolato, organizzando gli esperti in base alle loro similarità funzionali anziché alle loro distanze parametriche. Un set di calibrazione non etichettato valuta quanto similemente gli esperti reagiscono a stati di raccomandazione comuni. Per mitigare la perdita di prestazioni, un meccanismo di protezione adattivo per layer limita la fusione di esperti frequentemente acceduti in base alla loro esposizione di routing. Il framework è stato testato sui dataset Amazon Beauty, KuaiRec e TenRec, utilizzando 2, 4 e 6 blocchi MoE e raggiungendo una configurazione finale di quattro esperti. L'articolo è disponibile su arXiv con l'identificatore 2608.08627.
Fatti principali
- UniMoMo è un framework di compressione post-addestramento per layer MoE.
- Converte un checkpoint addestrato in un MoE più piccolo sotto un budget di esperti esplicito.
- Non viene aggiunto alcun modulo online specifico per la compressione.
- Il metodo è formulato come un problema di coarsening di grafi vincolato.
- Gli esperti sono raggruppati in base alla similarità funzionale, non alla distanza parametrica.
- Un set di calibrazione non etichettato misura le risposte degli esperti a stati condivisi.
- Un meccanismo di protezione adattivo per layer limita la fusione di esperti ad alto traffico.
- Valutato su Amazon Beauty, KuaiRec e TenRec con 2, 4 e 6 blocchi MoE.
Entità
Istituzioni
- arXiv