CoCo: Interpretazione Fedele a Livello di Risposta per Modelli di Ricompensa Mixture-of-Experts

Un recente articolo su arXiv (2608.06400) presenta Contribution-Contrast (CoCo), un nuovo approccio per interpretare i modelli di ricompensa sparse Mixture-of-Experts (MoE) a livello di risposta. Gli autori sostengono che i pesi di routing, che indicano quali prompt sono assegnati a un esperto, non riescono a spiegare completamente come gli esperti valutano le risposte, offrendo solo una visione limitata del comportamento degli esperti. CoCo definisce i ruoli degli esperti attraverso coppie di risposte selezionate-rifiutate che mostrano i contrasti di contributo più significativi, catturando efficacemente sia il routing che i comportamenti di preferenza. Sia nelle valutazioni automatiche che umane, CoCo dimostra interpretazioni più coerenti, fedeli e specializzate rispetto ai benchmark basati su router, punteggi e autoencoder sparsi. Il team di ricerca dietro questo lavoro mira a migliorare l'interpretabilità dei modelli di ricompensa essenziali per allineare l'IA alle preferenze umane.