EngGPT2-16B-A3B confrontato con LLM italiani e internazionali

Ingegneria Informatica S.p.A. ha pubblicato una valutazione benchmark per il suo EngGPT2MoE-16B-A3B, un modello Mixture of Experts (MoE) con 16 miliardi di parametri, di cui 3 miliardi attivi. Il modello è stato testato su benchmark globali come ARC-Challenge, GSM8K, AIME24, AIME25, MMLU, HumanEval (HE) e il benchmark RULER con contesto di 32k. Ha eguagliato o superato le prestazioni di modelli italiani tra cui FastwebMIIA-7B, Minerva-7B, Velvet-14B e LLaMAntino-3-ANITA-8B nella maggior parte delle valutazioni, sebbene Velvet-14B lo abbia superato nel benchmark italiano ITALIC. Rispetto ad altri modelli MoE di dimensioni simili, EngGPT2MoE-16B-A3B ha mostrato risultati superiori rispetto a DeepSeek-MoE-16B-Chat.