DeepSeek-V4: Modelli MoE Open-Source con Contesto di Milioni di Token

DeepSeek ha svelato le edizioni di anteprima della sua serie V4, con due modelli linguistici Mixture-of-Experts: DeepSeek-V4-Pro (1,6 trilioni di parametri, 49 miliardi attivati) e DeepSeek-V4-Flash (284 miliardi di parametri, 13 miliardi attivati), entrambi in grado di gestire una lunghezza del contesto di un milione di token. Miglioramenti notevoli includono un sistema di attenzione ibrido che combina Compressed Sparse Attention (CSA) e Heavily Compressed Attention (HCA) per una maggiore efficienza in contesti lunghi, nonché Manifold-Constrained Hyper-Connections (mHC) per una propagazione stabile del segnale e l'ottimizzatore Muon per una convergenza più rapida. Addestrati su oltre 32 trilioni di token, questi modelli seguono un processo di post-addestramento in due fasi che prevede la coltivazione di esperti specifici per dominio tramite SFT e RL con GRPO, quindi il consolidamento unificato tramite distillazione on-policy. DeepSeek-V4-Pro-Max, progettato per il massimo sforzo di ragionamento, eccelle nei benchmark di codifica e riduce il divario di prestazioni con i migliori modelli closed-source in compiti di ragionamento e agentivi. I punteggi di valutazione includono 90,1% su GPQA Diamond, 92,6% su GSM8K, 87,5% su MMLU-Pro, 55,4% su SWE-Bench Pro, 80,6% su SWE-Bench Verified e 67,9% su TerminalBench 2. I modelli sono disponibili con licenza MIT su Hugging Face, accompagnati da script Python per la codifica e decodifica in un formato compatibile con OpenAI.