Inversioni di Routing MoE Quantizzate: Analisi Causale del Danno Mediato dal Routing

Un nuovo articolo arXiv (2608.11212) indaga l'impatto delle perturbazioni numeriche sul routing Top-k Mixture-of-Experts (MoE), concentrandosi specificamente sulla quantizzazione della cache KV a 4 bit. Lo studio rivela che tali perturbazioni possono causare l'attraversamento dei confini decisionali da parte dei token, invertendo quali esperti vengono attivati. L'articolo introduce un apparato causale per quantificare la frazione mediata dal routing (RMF) del danno da quantizzazione, la scompone per meccanismo tramite attribuzione a livello di token e valida i risultati su tre architetture utilizzando sonde pre-registrate. Su OLMoE-1B-7B, i risultati pilota mostrano che circa un terzo del danno è mediato dal routing (RMF ~ 0.31). Il margine del router implementabile può rilevare che si è verificata un'inversione (AUC 0.772) ma non può distinguere le inversioni dannose da quelle utili. L'articolo non propone una mitigazione ma fornisce risultati empirici e un risultato sul limite di rilevabilità.