Il Routing Controfattuale Riduce le Allucinazioni nei Modelli MoE

È stato sviluppato un nuovo framework di inferenza, denominato Routing Controfattuale (CoR), per affrontare le allucinazioni nei modelli Sparse Mixture-of-Experts (MoE), specialmente quando si ha a che fare con conoscenze a coda lunga. Lo studio, disponibile su arXiv (2604.14246), rivela che il routing statico Top-k tende a privilegiare schemi frequenti rispetto a connessioni fattuali meno comuni, causando l'inattività di 'esperti specializzati' che hanno un significato causale. CoR impiega un'analisi delle perturbazioni a livello di layer insieme alla metrica Counterfactual Expert Impact (CEI) per riallocare le risorse computazionali dai layer guidati dalla sintassi a quelli focalizzati sulla conoscenza, mantenendo invariato il numero totale di attivazioni. Questo metodo mira ad attivare esperti dormienti e ridurre le allucinazioni senza richiedere addestramento aggiuntivo.