总参数很大、激活参数很小——MoE 到底省在哪?用 Qwen4 与 Kimi 的公开数据讲清楚这件事。

最近发布的几个大模型都在强调"总参数很大、激活参数很小"。这不是营销话术,而是 MoE(混合专家)架构的核心机制。搞清楚它,你就能看懂大部分成本宣传。
MoE 到底省在哪
传统稠密模型每处理一个 Token,全部参数都要参与计算。MoE 则把网络拆成多个"专家",每次只激活其中一小部分。于是有了两个数字:总参数(模型规模、知识容量)和激活参数(单次计算的实际开销)。
以 Qwen4-Max 为例:总参数 2.4T,但每个 Token 只激活 71B,比上一代同规模模型的激活参数少了约 25%。这意味着推理时真正烧掉的算力大幅下降——能力靠总参数承载,成本由激活参数决定。
激活参数不是唯一变量
今年开源阵营里,Kimi K3.1 Pro 以 2.8T 总参数、104B 激活参数著称,采用的是 O(1) 内存的注意力设计与量化专家。可以看到,各家都在往"更大总参数 + 更小激活比"的方向走,但具体实现方式不同:有的优化注意力结构,有的优化路由,有的做量化。
对使用者的实际意义
- API 用户:激活参数下降直接反映在每 Token 价格上,这是最近价格战的技术底气。
- 本地部署者:MoE 的总参数意味着显存占用依然可观(权重都要加载),但激活参数少意味着计算速度快。所以 MoE 模型"吃显存但不吃算力",选型时要分开看。
- 做选型决策:不要只看"XX 万亿参数"的宣传,激活参数和缓存价格更能反映你的真实账单。
<p注:具体参数与价格引自厂商官方发布,产品迭代快,请以官方最新文档为准。
本文同步自 ev7.cn · AI 博客,原文地址:https://www.ev7.cn/78.html
皮皮 AI 导航
AI 工具榜