Famiglia Darwin: La fusione di modelli senza training migliora il ragionamento LLM all'86,9% su GPQA Diamond

I ricercatori hanno presentato la Famiglia Darwin, un nuovo framework che facilita la fusione evolutiva di grandi modelli linguistici senza necessità di training, utilizzando la ricombinazione dello spazio dei pesi senza gradienti. Questa tecnica riorganizza le capacità latenti da checkpoint preesistenti. Presenta tre innovazioni principali: un genoma di fusione adattivo a 14 dimensioni per una ricombinazione precisa, MRI-Trust Fusion che armonizza i segnali dei layer diagnostici con la ricerca evolutiva, e un Architecture Mapper che supporta l'incrocio tra architetture diverse. Il modello di punta, Darwin-27B-Opus, ha raggiunto un impressionante 86,9% su GPQA Diamond, assicurandosi la posizione #6 tra 1.252 modelli valutati, superando il suo modello di base completamente addestrato senza utilizzare training basato su gradienti. Questo metodo è scalabile da 4B parametri in su.