ZAYA1-8B: Un Modello MoE con 700M di Parametri Attivi per il Ragionamento

ZAYA1-8B, un modello mixture-of-experts (MoE), comprende 700 milioni di parametri attivi su un totale di 8 miliardi. È stato creato da Zyphra utilizzando il loro framework MoE++. Il modello è stato addestrato da zero su una piattaforma di calcolo AMD completa, incorporando dati di ragionamento fin dall'inizio attraverso un metodo di potatura che preserva le risposte. Le sue prestazioni sono pari o superiori a DeepSeek-R1-0528 nelle valutazioni di matematica e coding, rimanendo un forte contendente rispetto a modelli di ragionamento open-weight più grandi. Il processo di post-addestramento consiste in una cascata di apprendimento per rinforzo in quattro fasi: riscaldamento iniziale al ragionamento su matematica e puzzle, un curriculum RLVE-Gym di 400 compiti, RL su matematica e codice con tracce di calcolo a tempo di test, e RL comportamentale per l'aderenza a chat e istruzioni.