Fusione di Modelli Bayesiana: Un Framework di Ottimizzazione a Due Livelli

Una recente pubblicazione su arXiv presenta il Bayesian Model Merging (BMM), una strategia di ottimizzazione a due livelli progettata per integrare vari modelli esperti specifici per compiti in un unico modello coeso senza la necessità di un riaddestramento congiunto. Il livello interno affronta la fusione attraverso una regressione bayesiana basata sull'attivazione, sfruttando un prior robusto da un modello ancora, che si traduce in una soluzione in forma chiusa. Nel frattempo, il livello esterno impiega l'ottimizzazione bayesiana per esplorare globalmente gli iperparametri specifici per ciascun modulo. Questo framework affronta efficacemente due significativi svantaggi delle tecniche attuali: la trascuratezza del bias induttivo dei modelli ancora e la dipendenza da iperparametri uniformi tra diversi moduli di rete.