MobileMoE: I modelli linguistici MoE per dispositivi mobili raggiungono una nuova frontiera di Pareto

MobileMoE introduce una serie di modelli linguistici Mixture-of-Experts (MoE) per dispositivi mobili, con 0,3-0,9 miliardi di parametri attivi e un totale di 1,3-5,3 miliardi di parametri, stabilendo un nuovo punto di riferimento per i LLM su dispositivo. Lo studio presenta una legge di scaling per MoE su dispositivo che bilancia in modo ottimale l'architettura entro i limiti di memoria e calcolo mobile, individuando una combinazione ideale di sparsità moderata e esperti condivisi finemente sintonizzati. L'addestramento avviene attraverso un processo in quattro fasi (pre-addestramento, addestramento intermedio, fine-tuning con istruzioni, addestramento consapevole della quantizzazione) utilizzando dataset open-source. Nelle valutazioni su 14 benchmark, MobileMoE eguaglia o supera le prestazioni dei modelli attuali.