MOBO-Merge: Ottimizzazione Bayesiana Multi-Obiettivo per la Fusione di Modelli
Il framework MOBO-Merge impiega l'ottimizzazione bayesiana multi-obiettivo per determinare i parametri di fusione per la fusione diretta di modelli AI addestrati nello spazio dei pesi. Questo metodo presenta un sostituto computazionalmente efficiente per un ulteriore fine-tuning. Concettualizza la selezione dei parametri di fusione come una sfida di ottimizzazione multi-obiettivo a scatola nera, cercando di approssimare il fronte di Pareto rispettando un budget di valutazione limitato. Il framework è agnostico rispetto agli operatori di fusione ed è stato testato sui modelli Qwen3-4B e Llama-3.1-8B in scenari di istruzione-matematica a due modelli e istruzione-matematica-codice a tre modelli, utilizzando operatori di fusione lineari, SLERP, TIES e a blocchi. MOBO-Merge ha superato la ricerca casuale in 11 confronti su 12, eccellendo particolarmente nei casi multidimensionali. La ricerca è accessibile su arXiv con identificatore 2608.14264.
Fatti principali
- MOBO-Merge è un framework per la fusione di modelli che utilizza l'ottimizzazione bayesiana multi-obiettivo.
- Formula la selezione dei parametri di fusione come un problema di ottimizzazione multi-obiettivo a scatola nera.
- Il framework è agnostico rispetto all'operatore di fusione.
- Valutato sui modelli Qwen3-4B e Llama-3.1-8B.
- Testato in contesti di istruzione-matematica a due modelli e istruzione-matematica-codice a tre modelli.
- Utilizza operatori di fusione lineari, SLERP, TIES e a blocchi.
- Ha ottenuto un ipervolume medio superiore rispetto alla ricerca casuale in 11 confronti su 12.
- I guadagni sono piccoli per l'interpolazione lineare unidimensionale, ma sostanzialmente grandi in altri casi.
- Articolo disponibile su arXiv con identificatore 2608.14264.
Entità
Istituzioni
- arXiv