MetaMoE: Unificazione Privacy-Preserving di Mixture-of-Experts tramite Selezione Proxy Consapevole della Diversità

MetaMoE è un framework progettato per proteggere la privacy integrando esperti specializzati addestrati separatamente in un unico modello Mixture-of-Experts (MoE), utilizzando dati proxy pubblici come sostituti per informazioni private inaccessibili. Affronta il problema dei dati distribuiti tra clienti che non possono essere condivisi a causa delle normative sulla privacy. Una caratteristica chiave di MetaMoE è la selezione proxy consapevole della diversità, che identifica campioni pertinenti e vari da dataset pubblici per imitare le distribuzioni dei dati privati e facilitare l'addestramento del router. Questi proxy aiutano anche a sincronizzare l'addestramento degli esperti per una migliore unificazione, mentre un router sensibile al contesto ottimizza la selezione degli esperti per input diversi. La sua efficacia è stata validata attraverso esperimenti in computer vision e elaborazione del linguaggio naturale.