Sensibilità del Router sotto Fine-Tuning Leggero Identifica Esperti Potabili nei Modelli MoE

Un recente articolo su arXiv (2608.07890) esplora il potenziale del fine-tuning leggero per individuare esperti potabili all'interno dei modelli Mixture-of-Experts (MoE). Questi modelli, che sono ampi framework linguistici, attivano solo una frazione dei loro parametri per ogni token, pur richiedendo la memorizzazione di tutti gli esperti. I ricercatori introducono una tecnica che prevede una breve fase di fine-tuning utilizzando un adattatore efficiente in termini di parametri, classificando gli esperti in base ai cambiamenti nel router L2 e potando gli esperti meno modificati in un unico passaggio. Su Mixtral-8x7B-Instruct (44.83% MMLU-Pro), il solo LoRA sul router, che utilizza solo lo 0.002% dei parametri, supera il LoRA su tutti i moduli con metà degli esperti rimossi (27.54% contro 24.42%). Man mano che l'adattamento si estende ai pesi di attenzione e degli esperti, la qualità del segnale diminuisce. L'accuratezza aumenta costantemente con il rango del LoRA, raggiungendo il 28.76%. IA3, che mantiene statici i pesi del router, ottiene risultati paragonabili all'adattamento diretto del router, mentre l'adattamento additivo non vincolato influisce negativamente sul segnale. I risultati indicano che la sensibilità del router durante il fine-tuning leggero può rivelare efficacemente gli esperti potabili, presentando un metodo valido per ridurre i requisiti di archiviazione nei modelli MoE.