HodgeCover: Compressione Topologica per Sparse Mixture-of-Experts
Un nuovo metodo chiamato HodgeCover affronta un'ostruzione fondamentale nella compressione dei layer Sparse Mixture-of-Experts (MoE). L'ostruzione si verifica quando tre esperti sono compatibili a coppie ma formano un ciclo irriducibile quando vengono fusi, rendendo il ranking a coppie cieco alla compatibilità tripla. Gli autori identificano questo come il kernel armonico del Laplaciano simpliciale su un 2-complesso, dove i vertici sono esperti, gli archi portano barriere di fusione KL e le facce portano barriere triple. HodgeCover seleziona greedy archi e triangoli per coprire le strutture armonico-critiche, consentendo una compressione efficace senza riaddestramento. L'articolo è disponibile su arXiv con identificatore 2605.13997.
Fatti principali
- HodgeCover è un metodo di compressione senza apprendimento per layer Sparse Mixture-of-Experts.
- Affronta un'ostruzione topologica in cui tre esperti sono compatibili a coppie ma non unibili congiuntamente.
- L'ostruzione è formalizzata come il kernel armonico del Laplaciano simpliciale su un 2-complesso.
- Il metodo copre greedy archi armonico-critici e triangoli tripletto-critici.
- L'articolo è pubblicato su arXiv con ID 2605.13997.
- L'approccio riduce il costo di inferenza senza riaddestramento.
Entità
Istituzioni
- arXiv