logo 皮皮 AI 导航 AI 工具榜 不在思考里彷徨,就在工具里找答案
⌕
首页/AI 文章/模型解读

同为稀疏 MoE,为什么新一代模型能把成本压下来一大截

2026/11/14 · 9 次阅读 · 来源:ev7.cn AI 博客

总参数很大、激活参数很小——MoE 到底省在哪?用 Qwen4 与 Kimi 的公开数据讲清楚这件事。

同为稀疏 MoE,为什么新一代模型能把成本压下来一大截

最近发布的几个大模型都在强调"总参数很大、激活参数很小"。这不是营销话术,而是 MoE(混合专家)架构的核心机制。搞清楚它,你就能看懂大部分成本宣传。

MoE 到底省在哪

传统稠密模型每处理一个 Token,全部参数都要参与计算。MoE 则把网络拆成多个"专家",每次只激活其中一小部分。于是有了两个数字:总参数(模型规模、知识容量)和激活参数(单次计算的实际开销)。

以 Qwen4-Max 为例:总参数 2.4T,但每个 Token 只激活 71B,比上一代同规模模型的激活参数少了约 25%。这意味着推理时真正烧掉的算力大幅下降——能力靠总参数承载,成本由激活参数决定。

激活参数不是唯一变量

今年开源阵营里,Kimi K3.1 Pro 以 2.8T 总参数、104B 激活参数著称,采用的是 O(1) 内存的注意力设计与量化专家。可以看到,各家都在往"更大总参数 + 更小激活比"的方向走,但具体实现方式不同:有的优化注意力结构,有的优化路由,有的做量化。

对使用者的实际意义

  • API 用户:激活参数下降直接反映在每 Token 价格上,这是最近价格战的技术底气。
  • 本地部署者:MoE 的总参数意味着显存占用依然可观(权重都要加载),但激活参数少意味着计算速度快。所以 MoE 模型"吃显存但不吃算力",选型时要分开看。
  • 做选型决策:不要只看"XX 万亿参数"的宣传,激活参数和缓存价格更能反映你的真实账单。

<p注:具体参数与价格引自厂商官方发布,产品迭代快,请以官方最新文档为准。

本文同步自 ev7.cn · AI 博客,原文地址:https://www.ev7.cn/78.html
继续读同样来自 ev7.cn 的文章
↑