DeepSeekMoE 完全拆解：细粒度专家切分与共享专家隔离

MoE 的基本框架#

先建立术语。一个标准 Transformer 块由注意力（self-attention）与逐位前馈网络（Feed-Forward Network, FFN）组成，第 $l$ 层对第 $t$ 个 token 的计算可以写成：

其中 $\mathbf{h}_t^{l} \in \mathbb{R}^{d}$ 是第 $t$ 个 token 经过第 $l$ 个 Transformer 块后的隐藏状态，$d$ 是隐藏维度，$T$ 是序列长度。FFN 通常是两层线性变换夹一个激活函数：$\mathrm{FFN}(x) = W_2\,\sigma(W_1 x)$，中间维度一般是 $4d$ 左右——一个 Transformer 里参数和算力的大头都在 FFN 上。

MoE（Mixture of Experts，混合专家）的做法是把 FFN 替换成”多个专家 + 一个路由器”。每个专家（expert）结构上就是一个标准 FFN；路由器（router）为每个 token 计算与各专家的亲和度（affinity），只把 token 送给亲和度最高的 $K$ 个专家。GShard（论文，2021 年）就是这种 top-K 路由的经典实现。一个 MoE 层的输出为：

其中 $N$ 是专家总数，$\mathrm{FFN}_i(\cdot)$ 是第 $i$ 个专家，$g_{i,t}$ 是门控值，只有 $K$ 个非零：

亲和度 $s_{i,t}$ 由 token 隐藏状态与专家质心向量的内积经过 softmax 得到：

这里 $\mathbf{e}_i^{l}$ 是第 $l$ 层第 $i$ 个专家对应的可学习”质心”向量（centroid），softmax 的作用是把 $N$ 个内积分数归一化成概率分布。

门控的稀疏性（$N$ 个里只有 $K$ 个非零）就是 MoE 的经济性来源：模型参数可以很多（记在总参数里），但每个 token 只花 $K/N$ 的 FFN 算力。

两个病根：知识混杂与知识冗余#

GShard 式的经典配置是 $N=8$ 或 $16$ 个大专家、$K=1$ 或 $2$。论文指出这种配置有两个互为因果的缺陷：

知识混杂（knowledge hybridity）。专家数量少意味着每个专家分到的 token 数量多，而 token 是多种知识的混合体——一句”苹果公司发布了新手机”同时含商业、技术、产品三类知识。当一个专家被迫同时存储差异很大的知识时，这些知识在参数里互相干扰，难以被同时有效利用。

知识冗余（knowledge redundancy）。不同专家服务的 token 常常需要公共知识（句法结构、通用语义、常见搭配）。既然没有专门的地方存放这些公共知识，多个专家就会各自在参数里重复学习一份，造成参数浪费。

这两个问题合起来，就是论文标题里”终极专家专业化（ultimate expert specialization）“的反面：专家没有”各管一摊”，而是”人人都会一点、人人都不精”。结果就是 MoE 的实际效果远低于同参数量稠密模型的理论上限。

做法与公式#

把每个专家 FFN 的中间隐藏维度缩小为原来的 $1/m$，同时把专家数量从 $N$ 增加到 $mN$、激活数量从 $K$ 增加到 $mK$。由于每个专家变小了 $m$ 倍、激活数量多了 $m$ 倍，总专家参数与总计算量都不变。细粒度 MoE 层的输出变为：

门控公式与原来完全同构，只是专家总数与激活数分别换成 $mN$ 与 $mK$；亲和度仍是 softmax 形式。

为什么这样设计#

直觉上，“多而小”的专家比”少而大”的专家更有利于专业化，论文给出两条理由：

1. 知识分解更细。一个 token 内含的多类知识，被路由到 8 个不同的小专家时，每个专家只需存一类知识；路由到 2 个大专家时，每个专家必须”一口吞下”多类知识。前者每个专家的知识更聚焦，利用率更高。
2. 组合更精准。44 亿种组合意味着 token 与专家子集的匹配可以精细到”这个 token 只需要这几块知识”。对下游任务而言，模型能够挑选最相关的专家组合，训练效率与效果都更好。

m 取多大：实验依据#

论文在 2B 验证模型上做了切分粒度消融（图 3，见下文”消融实验”一节）：在总参数与激活参数完全一致的前提下，把 16 个专家分别切成 32 个（$m=2$）和 64 个（$m=4$），性能单调提升。切得越细越好，但论文同时承认一个工程上限：专家过小会降低计算效率。GPU 上每个专家都是一组矩阵乘法，专家中间维度太小（比如低于张量核心友好的 64 的倍数）时，算子难以充分利用硬件。因此 16B 模型选择”每个专家为标准 FFN 的 1/4”（$m=4$），并明确写道”更大规模下仍可采用更细的粒度”——这句话在 145B 模型上兑现了：专家缩到标准 FFN 的 1/8（$m=8$）。

做法与公式#

在细粒度切分的基础上，隔离出 $K_s$ 个共享专家（shared experts）：它们不经过路由器，每个 token 都被确定性（deterministically）地送进去计算。为了维持计算量不变，路由专家中激活的数量相应减去 $K_s$。完整 DeepSeekMoE 层的输出为：

公式第一项是共享专家（索引 $1$ 到 $K_s$，无门控），第二项是路由专家（索引 $K_s+1$ 到 $mN$，top-$(mK-K_s)$ 门控）。最终结构参数为：共享专家 $K_s$ 个，路由专家 $mN - K_s$ 个，非零门控数 $mK - K_s$ 个。

为什么这样设计#

“知识冗余”的根源是公共知识没有固定的存放位置。共享专家的作用就是给公共知识一个明确的”家”：语法、语序、通用语义这类所有 token 都需要的能力，全部压进少数几个始终激活的专家；路由专家于是不再需要各自存一份公共知识，可以集中参数去学差异化知识。从另一个角度看，这等于把 MoE 层拆成了”一个永远在场的稠密小骨干（shared experts）+ 一个按需调用的稀疏部分（routed experts）”。

论文特意交代了出处：共享专家的雏形可追溯到 2022 年的 DeepSpeed（Rajbhandari et al., 2022），但那是从工程角度（减少推理时专家加载次数）提出的；DeepSeekMoE 是从算法角度（提升专家专业化）独立发展出这一设计。一个想法从工程技巧升格为架构原则，这是关键一步。

共享专家与路由专家的比例：1:3#

论文在 64 个专家的配置上固定总专家数与激活数，尝试隔离 1、2、4 个共享专家，Pile 测试集上的交叉熵损失分别为 1.808、1.806、1.811——差异很小，说明比例并不敏感。取边际最优的 1:3（1 个共享专家对应 3 个激活的路由专家）作为后续放大模型的默认比例：16B 模型是 2 共享 + 6 路由，145B 模型是 4 共享 + 12 路由，共享与激活路由专家数之比恒为 1:3。

实验设置#

为了在可控成本下验证架构，论文训练了一批 2B 规模的模型：9 层 Transformer、隐藏维度 1280、10 个注意力头（每头 128 维）。所有 MoE 模型的专家总参数固定为标准 FFN 的 16 倍、激活专家参数为标准 FFN 的 2 倍（约 0.3B 激活参数），训练 100B token。参与对比的五个模型：

所有模型共用同一训练语料与超参数，保证对比干净。注意 DeepSeekMoE 与 GShard 的激活参数同为 0.3B——这是一场”同算力预算”的公平对决。

结果：全面碾压同预算 MoE#

（数据来自论文 Table 1；表中 Dense 为 0.2B 稠密基线。）

三个观察：稀疏架构整体碾压同激活参数的稠密基线；GShard 因激活参数更多略胜 Switch；DeepSeekMoE 在激活参数与 GShard 完全相同的情况下全面大幅领先，TriviaQA 领先 6.4 个点、Pile 损失低 0.059。这些差距在 100B token 的小训练量下就清晰可见，说明优势来自架构本身而非规模。

更强的对比：打平 GShard×1.5，逼近 Dense×16#

更关键的对比是”需要多大模型才能追平 DeepSeekMoE”：

• GShard ×1.5：专家尺寸放大 1.5 倍，总专家参数 2.83B、激活 0.35B，FLOPs 从 4.3T 涨到 5.8T。结果 Pile 损失同为 1.808，HellaSwag 54.4 vs 54.8、PIQA 71.1 vs 72.3——DeepSeekMoE 用 1/1.5 的专家参数和算力打平了它；
• Dense ×16：用 16 个”共享专家”模拟一个 FFN 参数放大 16 倍的稠密模型（总专家参数 1.89B、激活 1.89B），这是 MoE 模型在容量上的严格上限——所有专家全激活的稠密化版本。Dense ×16 的 Pile 损失是 1.806，DeepSeekMoE 是 1.808，HellaSwag 55.1 vs 54.8。

论文由此给出一个极强结论：至少在 2B 规模、100B token 训练量下，DeepSeekMoE 的性能已经与 MoE 的理论上限（对应稠密模型）基本重合。传统 MoE 架构离上限的差距，被架构设计吃掉了。

消融实验：两个策略各自的贡献#

图：论文 Figure 3——每组柱子的模型从左到右依次是：GShard、GShard + 1 共享专家、切分为 32 个专家的 DeepSeekMoE、切分为 64 个专家的 DeepSeekMoE（即完整版）。

消融分两步，每一步都在总参数与激活参数不变的条件下进行：

1. 只加共享专家：在 GShard 基础上隔离 1 个共享专家（激活的路由专家从 2 减到 1），多数基准上性能提升——共享专家隔离单独成立；
2. 再加细粒度切分：继续把专家切成 32 个、64 个，性能随粒度变细单调提升——细粒度切分单独成立。

两条策略的收益可以叠加，且切分粒度越大、收益越明显。

证据一：禁用 top 路由专家——DeepSeekMoE 对”缺人”更敏感#

对每个 token，把路由概率最高的前若干专家”禁用”（不能参与 top-K 选择），观察 Pile 损失的上升幅度。对比对象是与 DeepSeekMoE Pile 损失相同（1.808）的 GShard ×1.5，两者起点一致，禁用后的落差就是冗余度的度量：

图：论文 Figure 4——横轴为禁用 top 路由专家的比例，纵轴为 Pile 交叉熵损失。

DeepSeekMoE 的损失随禁用比例急剧上升，GShard ×1.5 则平缓得多。解释很直观：冗余度越低，每个专家越”不可替代”，少任何一个都会明显掉性能。GShard 的专家们知识重叠严重，禁用 top-1 后第二名还能顶上大部分活。

证据二：禁用共享专家——损失暴涨 0.6#

把唯一的共享专家禁掉、同时多激活一个路由专家，保持计算量不变。Pile 损失从 1.808 暴涨到 2.414——这相当于多激活一个路由专家完全无法弥补共享专家的缺失。结论：共享专家里存的是”基础且必需”的知识（公共知识），路由专家没有能力也没有意愿去学它。这个实验同时验证了公共知识确实被成功”隔离”进了共享专家。

证据三：更少的激活专家、更少的激活参数#

两个相关实验：

• 把激活的路由专家数从 7 一路降到 3：只激活 4 个路由专家时，Pile 损失就已经与 GShard（激活 2 个完整专家）相当：

图：论文 Figure 5——横轴为激活的路由专家数量，虚线为 GShard 的 Pile 损失参考线。

• 更进一步，从零训练一个只激活 3 个路由专家（加 1 个共享专家，共激活 0.17B 专家参数）的模型，与 GShard 全配置（0.35B 激活专家参数）对比：

图：论文 Figure 6——相同总专家参数下，DeepSeekMoE 只用 GShard 一半的激活专家参数训练（左），多项基准上仍然领先（右）。

这说明 DeepSeekMoE 激活参数中”有效参数”的比例远高于 GShard——同样的算力预算，DeepSeekMoE 能买到更多真实能力。这正是”终极专家专业化”的量化体现。

配置与训练细节#

DeepSeekMoE 16B 的配置：28 层、隐藏维度 2048、16 个注意力头（每头 128 维）、100K 词表，在 2T token 的双语（中英）语料上训练，训练超参数与 DeepSeek 7B 稠密模型完全对齐，保证对比公平。每个 MoE 层由 2 个共享专家 + 64 个路由专家组成，每个专家是标准 FFN 的 1/4，每个 token 激活 2 个共享专家 + 6 个路由专家。总参数约 16.4B，激活参数约 2.8B。

两个值得注意的工程细节：

• 第一层的 FFN 保持稠密，不替换成 MoE 层。论文观察到第一层的负载均衡收敛明显更慢——模型刚接触输入时路由还不稳定，硬上 MoE 只会拖慢训练。这是”该稀疏的地方稀疏、不该稀疏的地方稠密”的务实取舍。
• 训练采用流水线并行（pipeline parallelism）而非专家并行：每层全部 66 个专家部署在同一设备上，因此不需要设备级均衡损失，只用很小的专家级因子 $\alpha_1 = 0.001$（实验发现更大的专家级因子在流水线并行下不提升计算效率，反而伤性能）。

结果：打平 DeepSeek 7B 与 LLaMA2 7B#

与同语料训练的 DeepSeek 7B（6.9B 稠密）对比：FLOPs 仅为后者的 40.5%，Pile 的 bits-per-byte（BPB）0.74 vs 0.75 略优，HellaSwag 77.1 vs 75.4、TriviaQA 64.8 vs 59.7、NaturalQuestions 25.5 vs 22.2 明显领先。

与 LLaMA2 7B（论文）对比：总参数是其 245%，但算力只需 39.6%，多数基准上反超——代码与数学上差距尤其大（HumanEval 26.8 vs 14.6，MBPP 39.2 vs 21.8），中文基准上更是碾压（CHID 89.4 vs 37.9、CEval 40.6 vs 33.9），这主要来自训练语料的中文与代码占比。

论文同时诚实报告了短板：MMLU、CEval、CMMLU 这类多选选择题上落后（MMLU 45.0 vs 48.2）。归因很清晰：DeepSeekMoE 16B 的注意力参数只有约 0.5B，而 DeepSeek 7B 有 2.5B——MoE 只稀疏化了 FFN，注意力仍是稠密的，所以模型越大、注意力占比越小，而多选任务恰好对注意力容量敏感（此前 DeepSeek 7B MQA 变体在 MMLU 上同样吃亏）。这个短板在后续 V2 里由 MLA 从另一个角度部分缓解。这也解释了为什么后来的 DeepSeek 模型在扩 MoE 参数的同时从不压缩注意力结构。

在 Open LLM Leaderboard 上与一批开源模型（LLaMA 7B、Falcon 7B、GPT-J 6B、Open LLaMA、Pythia 2.8B、BLOOM 3B 等）比较：

图：论文 Figure 1——红色虚线是对除 DeepSeekMoE 外所有模型的线性拟合。

图里横轴是激活参数（不是总参数）——这正是 MoE 推理成本的度量轴：横轴上越靠左、推理越便宜。DeepSeekMoE 16B 位于图中左上角：推理成本只有 7B 稠密模型的四成，性能却打平甚至超过它们。

推理侧的直接收益#

论文在部署部分给出一组具体数字：DeepSeekMoE 16B 可以在单张 40GB 显存的 GPU 上不做任何量化直接部署；配合算子优化，推理速度约为 7B 稠密模型的 2.5 倍。这个”单卡能跑”的里程碑式结果，是 MoE 稀疏激活的显存与算力红利第一次以完整模型的形式落地——也是后来 DeepSeek-V2 把 API 价格打下来的前奏。对推理而言，16.4B 总参数意味着权重文件约 33GB（BF16），40GB 显存恰好放下；2.8B 激活意味着每个 token 的 FFN 计算只相当于一个 2.8B 稠密模型。

SFT 对齐#

论文还对 16B 做了有监督微调（Supervised Fine-Tuning, SFT），在 1.4M 条内部对话数据上训练 8 个 epoch，构造出 DeepSeekMoE Chat 16B。与同数据微调的 LLaMA2 SFT 7B、DeepSeek Chat 7B 相比，40% 算力下多数基准打平或更好，代码（HumanEval 45.7、MBPP 46.2）与中文基准明显领先。这打破了当时”MoE 微调收益小”的普遍印象，也验证了架构的实用性。