三言科技 3月29日消息，据阿里通义千问官微消息，今天，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B。

据介绍，该模型仅有27亿个激活参数，但性能可与当前70亿参数模型（Mistral 7B、Qwen1.5-7B等）相媲美。

Qwen1.5-7B包含65亿个Non-Embedding参数，Qwen1.5-MoE-A2.7B只有20亿个Non-Embedding参数，仅为前者的1/3。相比Qwen1.5-7B，Qwen1.5-MoE-A2.7B的训练成本降低了75%，推理速度则提升了1.74倍。