mHC 完全拆解：流形约束超连接，如何让宽残差流稳定堆到 61 层

2015 年那条 $x_{l+1}=x_l+\mathcal{F}$ 到底好在哪里#

ResNet 由何恺明等人于 2015 年提出（CVPR 2016 的 “Deep Residual Learning for Image Recognition”），它给单层网络写下的是这样一行式子：

其中 $\mathbf{x}_{l}\in\mathbb{R}^{1\times C}$ 是第 $l$ 层的输入，$C$ 是隐藏维度；$\mathbf{x}_{l+1}$ 是输出；$\mathcal{F}$ 是这一层真正干活的那个函数（在 Transformer 里就是 Attention 或 FFN 子层）；$\mathcal{W}_{l}$ 是这一层的可学习权重。加号右边第一项 $\mathbf{x}_l$ 就是那条”什么都不做、原样抄下去”的恒等通路。

把这一行逐层展开，从第 $l$ 层推到第 $L$ 层（$L$ 更深）：

这一步推导没有任何技巧，就是反复代入：$\mathbf{x}_L=\mathbf{x}_{L-1}+\mathcal{F}_{L-1}=\mathbf{x}_{L-2}+\mathcal{F}_{L-2}+\mathcal{F}_{L-1}=\dots$。式子的含义是：浅层信号原封不动地出现在深层，深层只不过是在它上面叠加了一串累加的增量。

论文里反复强调的恒等映射（identity mapping）说的就是 $\mathbf{x}_l$ 这一项。它的价值有两面：

前向方向，第 $l$ 层的信号经过 $L-l$ 次传播后仍有系数恰好为 1 的直达通路，不会因为层数增加而被稀释掉。

反向方向，对损失 $\mathcal{L}$ 求梯度：

括号里那个 $\mathbf{I}$ 是单位矩阵，它是恒等通路的”梯度镜像”。哪怕后面那一长串累加项全部趋近于零（比如某一层的雅可比奇异了），梯度仍然可以通过 $\mathbf{I}$ 原样回传到浅层。何恺明 2016 年的后续工作 “Identity Mappings in Deep Residual Networks” 把这一点讲得更明白：真正让极深网络可训练的不是”残差”这个概念本身，而是残差分支不动主干、主干必须保持恒等这个结构约束。

HC：把一条残差流拆成 $n$ 条#

十年过去，$\mathcal{F}$ 从卷积换成了注意力、换成了 MoE，但加号两边那个结构几乎没变。一层的表达能力受限于 $\mathcal{F}$ 内部的宽度，而残差通路本身只有 $C$ 个通道——所有层共享同一条 $C$ 维的信息高速路。

2024 年 9 月，字节跳动 Seed-Foundation-Model Team 的 Defa Zhu 等人在 arXiv 上提出 Hyper-Connections（arXiv:2409.19606，v3 于 2025 年 3 月更新）。它的做法是把这条单车道改成 $n$ 车道：输入 $\mathbf{x}_l\in\mathbb{R}^{1\times C}$ 先被复制扩展成一个 $n\times C$ 的隐藏矩阵 $\mathbf{x}_l=(\mathbf{x}_{l,0}^\top,\dots,\mathbf{x}_{l,n-1}^\top)^\top$，然后引入三个可学习映射来管理这 $n$ 条流的读写与混合：

三个映射的分工是这样的：

• $\mathcal{H}_{l}^{\mathrm{pre}}\in\mathbb{R}^{1\times n}$ 负责读出（read-out）。它把 $n$ 条流聚合成 1 条 $C$ 维向量，交给层函数 $\mathcal{F}$。这一步把流宽 $nC$ 压回 $C$，所以 $\mathcal{F}$ 的计算量和标准 Transformer 完全一样、FLOPs 一分没多。
• $\mathcal{H}_{l}^{\mathrm{post}}\in\mathbb{R}^{1\times n}$ 负责写回（write-in）。它把 $\mathcal{F}$ 输出的 $C$ 维结果重新分配到 $n$ 条流上；因为形状是 $1\times n$，公式里写成转置 $\mathcal{H}_{l}^{\mathrm{post}\,\top}\in\mathbb{R}^{n\times 1}$，与 $C$ 维列向量相乘后得到 $n\times C$ 的增量矩阵。
• $\mathcal{H}_{l}^{\mathrm{res}}\in\mathbb{R}^{n\times n}$ 负责残差混合。它是唯一作用在流维度（$n$ 那一维）上的矩阵，做的是”把 $n$ 条流互相掺一掺”。

$n$ 称为扩展率（expansion rate）。这三个映射都是可学习的，而且每个映射的系数由两部分组成：依赖当前输入的动态映射（dynamic mapping）和不依赖输入的静态映射（static mapping）。原始 HC 的写法是

符号逐个解释一下。$\tilde{\mathbf{x}}_l$ 是先把 $n\times C$ 的流矩阵在最后一个维度上做 RMSNorm 的结果（RMSNorm 在最后一维上做，所以是对每条流的 $C$ 个特征独立归一化）。$\theta^{\mathrm{pre}}_l,\theta^{\mathrm{post}}_l\in\mathbb{R}^{1\times C}$ 和 $\theta^{\mathrm{res}}_l\in\mathbb{R}^{n\times C}$ 是线性投影的参数，$\theta^{\mathrm{pre}}_l\tilde{\mathbf{x}}_l^\top$ 的形状是 $(1\times C)(C\times n)=1\times n$，刚好对上 $\mathcal{H}^{\mathrm{pre}}$ 的形状；同理 $\theta^{\mathrm{res}}_l\tilde{\mathbf{x}}_l^\top$ 是 $n\times n$。$\tanh$ 把动态部分压到 $(-1,1)$ 区间。$\alpha^{\mathrm{pre}}_l,\alpha^{\mathrm{post}}_l,\alpha^{\mathrm{res}}_l$ 是三个可学习的门控标量（gating factor），初始化到很小的值——论文附录给出的初值是 $0.01$。$\mathbf{b}^{\mathrm{pre}}_l,\mathbf{b}^{\mathrm{post}}_l\in\mathbb{R}^{1\times n}$ 和 $\mathbf{b}^{\mathrm{res}}_l\in\mathbb{R}^{n\times n}$ 是静态偏置，也就是”与输入无关”的那部分系数。

因为 $n$（典型值 4）远小于 $C$（数千），这些映射带来的额外计算量可以忽略。HC 由此给出了一条独立于”堆 FLOPs”和”堆数据”的第三根扩展轴：残差流的宽度 $nC$。论文在附录里把这条轴和另外两条并列，说它”补充了预训练缩放定律讨论的传统缩放维度”。

图：三种残差范式对比。(a) 标准残差连接：单条 $C$ 维主干加一条层函数分支；(b) HC：主干被扩成 $n$ 条并行流，三个可学习映射 $\mathcal{H}^{\mathrm{pre}}_l$、$\mathcal{H}^{\mathrm{post}}_l$、$\mathcal{H}^{\mathrm{res}}_l$ 分别负责读出、写回与流间混合；(c) mHC：把三个映射都投影到受限流形 $\mathcal{P}_{\mathcal{M}}$ 上，用约束换取跨层稳定性。（图片来源：mHC 论文）

上图是论文的第一张图，把三种范式并排放在一起。左边 (a) 是标准残差：一条粗箭头是主干，一条细的绕行分支是 $\mathcal{F}$，两者在加号处合并。中间 (b) 是 HC：主干变成了一叠 $n$ 条平行的灰色片（代表 $\mathbf{x}_l$ 的 $n$ 条流），读出端有 $\mathcal{H}^{\mathrm{pre}}_l$（Pre Mapping），写回端有 $\mathcal{H}^{\mathrm{post}}_l$（Post Mapping），主干末端有 $\mathcal{H}^{\mathrm{res}}_l$（Res Mapping）在流之间重新混合。右边 (c) 是本文的主角：结构完全一样，但三个映射外面各套了一层绿色框，写的是 $\mathcal{P}_{\mathcal{M}^{\mathrm{pre}}}(\mathcal{H}^{\mathrm{pre}}_l)$、$\mathcal{P}_{\mathcal{M}^{\mathrm{post}}}(\mathcal{H}^{\mathrm{post}}_l)$、$\mathcal{P}_{\mathcal{M}^{\mathrm{res}}}(\mathcal{H}^{\mathrm{res}}_l)$——这就是”流形约束”四个字在图上的样子。

HC 论文自己给出的原始结构图更直白地说明了这三条流在干什么：

图：HC 原始论文的图 1。(a) 标准残差连接；(b) 超连接，$n=2$ 时两条流 $h_1,h_2$ 之间的蓝色/黄色可学习权重同时控制”深度连接”（$\gamma$，跨层的写回权重）与”宽度连接”（$\alpha$，流之间的横向混合）；(c)(d) 分别只保留深度连接或宽度连接的退化形式。（图片来源：Hyper-Connections 论文）

消融给出的关键提示：真正起作用的是残差混合矩阵#

一个自然的疑问是：三个映射里哪个才是提升性能的主力？论文在 27B 模型上做了消融，做法是”关掉某个映射、换成一个固定的等价映射来维持形状一致”：关掉 $\mathcal{H}^{\mathrm{pre}}_l$ 时用均匀权重 $1/n$；关掉 $\mathcal{H}^{\mathrm{post}}_l$ 时用全 1 的均匀权重；关掉 $\mathcal{H}^{\mathrm{res}}_l$ 时用单位矩阵 $\mathbf{I}$。

这里的”绝对损失差”是相对于全关配置（也就是普通残差连接）的差值，负号代表损失更低、更好。读法很清楚：只打开残差混合矩阵 $\mathcal{H}^{\mathrm{res}}_l$，就能拿到 −0.022 里的大部分；再叠加 $\mathcal{H}^{\mathrm{pre}}_l$ 只多 0.003，再加 $\mathcal{H}^{\mathrm{post}}_l$ 也只多 0.002。论文的结论是”残差映射带来的性能增益最显著，凸显了残差流内部有效信息交换的重要性”。

这个结论直接决定了 mHC 的设计取舍：要约束就约束 $\mathcal{H}^{\mathrm{res}}_l$，另外两个映射保持 HC 原样（只加一个轻量的非负约束）。如果三个都做大改造，既没有收益证据，又会把系统的复杂度推高。

问题一：复合映射不再保持恒等映射#

HC 的性能增益是真的，但它把式 $\mathbf{x}_{l+1}=\mathbf{x}_l+\mathcal{F}$ 里那个”干净的 1”换成了一个自由学习的矩阵。把 HC 的单层递推同样逐层展开：

和标准残差那条式子对比，第一项从 $\mathbf{x}_l$ 变成了 $\left(\prod_{i=1}^{L-l}\mathcal{H}_{L-i}^{\mathrm{res}}\right)\mathbf{x}_l$。注意 $\prod$ 的乘法顺序：$\prod_{i=1}^{L-l}\mathcal{H}_{L-i}^{\mathrm{res}} = \mathcal{H}_{L-1}^{\mathrm{res}}\mathcal{H}_{L-2}^{\mathrm{res}}\cdots\mathcal{H}_{l}^{\mathrm{res}}$，从深层往浅层左乘，正好对应信号从第 $l$ 层向前传到第 $L$ 层时依次穿过每一层的残差混合矩阵。

标准残差里这个”复合映射”恒等于 $\mathbf{I}$，所以浅层信号在深层处一字不改地出现。HC 里它是一个 $n\times n$ 的可学习矩阵连乘，没有任何机制保证它接近 $\mathbf{I}$。论文的原话是：这个复合映射”无法保持特征的全局均值”（fails to preserve the global mean of the features），随之而来的是无界的信号放大或衰减（unbounded signal amplification or attenuation），最终在大规模训练中表现为不稳定。

用数学语言说清楚一点。设 $\mathbf{x}\in\mathbb{R}^{n\times C}$ 是某层的 $n$ 条流。如果 $\mathcal{H}^{\mathrm{res}}$ 是一个列随机矩阵（column-stochastic，每列和为 1，元素非负），那么：

也就是说，“所有流上的平均特征”被精确保持。这一步用到的就是列和为 1。而如果 $\mathcal{H}^{\mathrm{res}}$ 只是行和为 1（行随机），得到的则是”每条输出流是输入流的凸组合”，保证的是逐流的范数不放大；均值反而会漂。HC 的矩阵两样都不满足——它是完全自由的，既可能把某些流放大 20 倍，也可能把它们压到接近 0。

论文用两个可测量的指标把这个现象量化了，叫 Amax Gain Magnitude（最大增益幅度）：

• 前向指标：复合矩阵的行和绝对值最大值 $\max_i \sum_j |(\prod\mathcal{H}^{\mathrm{res}})_{ij}|$。之所以是行和，是因为矩阵的 $\infty$-范数（诱导范数）正是最大绝对行和，$\|\mathbf{H}\|_\infty = \max_i\sum_j|H_{ij}|$，而 $\|\mathbf{H}\mathbf{x}\|_\infty \le \|\mathbf{H}\|_\infty\|\mathbf{x}\|_\infty$——它衡量的是”前向传播中最坏情况下信号能被放大多少倍”。
• 后向指标：复合矩阵的列和绝对值最大值 $\max_j \sum_i |(\prod\mathcal{H}^{\mathrm{res}})_{ij}|$。反向传播时梯度经过的是 $\mathbf{H}^\top$，而 $\|\mathbf{H}^\top\|_\infty$ 恰好等于 $\mathbf{H}$ 的最大绝对列和。

在 27B 模型上实测，HC 的复合映射 Amax Gain Magnitude 峰值达到 3000 左右。3000 是什么概念？如果复合映射等价于每层均匀放大 $g$ 倍，那么 $g^{61}\approx 3000$ 意味着 $g\approx 1.14$——每层只要平均多放大 14%，累积 61 层就是三个数量级的爆炸。而因为矩阵是自由学习的，它要么整体偏大（前向炸），要么整体偏小（梯度消失），两种失败模式在训练中都不罕见。

图：HC 的传播不稳定性，论文图 3。(a) 单层映射 $\mathcal{H}^{\mathrm{res}}_l$ 的前向信号增益（灰）与后向梯度增益（蓝）随层索引变化，基本在 1 附近抖动；(b) 复合映射 $\prod_{i=1}^{L-l}\mathcal{H}^{\mathrm{res}}_{L-i}$ 的增益，注意纵轴是对数刻度——后向梯度增益从第 10 层之后一路爬升，在 40 到 55 层区间达到 $10^3$ 量级，峰值约 3000。横轴 $l$ 把每个标准 Transformer 块展开成 Attention 与 FFN 两个独立层，因此 30 层的 27B 模型在这里对应到 61 个子层。（图片来源：mHC 论文）

这张图是整篇论文最有说服力的一张。左图 (a) 说明单层没问题：每一层自己的 $\mathcal{H}^{\mathrm{res}}_l$ 增益都在 1 附近波动，最坏也就是十几——如果只看单层，HC 看起来完全健康。右图 (b) 说明复合起来就出事了：把 61 个子层的矩阵乘起来之后，后向梯度增益单调爬升，在第 40~55 层之间稳定在 $10^3$ 量级。这也解释了一个容易被忽视的事实——不稳定性是深度的函数，模型越深、复合的项越多，问题越严重。这正是”扩展性受限”的确切含义：不是 HC 在小模型上不能用，而是它随深度增长的行为不可控。

损失的实测曲线也印证了这一点。论文在 27B 规模上观察到 HC 在训练到 12k 步附近出现一次意外的损失突增，并且这次突增与梯度范数的异常高度相关；作为对照的 mHC 则保持平稳。

图：27B 模型上三种配置的训练稳定性，论文图 5。(a) 相对 Baseline 的绝对损失差：HC（浅蓝）在 40k 步之后明显发散，mHC（深蓝）全程稳定收敛；(b) 梯度范数：HC 在 12k~30k 步之间剧烈抖动并出现尖峰，mHC 的曲线与 Baseline 几乎重合。（图片来源：mHC 论文）

问题二：访存墙与通信放大#

第二个问题不涉及数学，纯粹是系统层面的账。论文指出，现代模型架构的主要瓶颈之一是访存（I/O），也就是常说的”内存墙”（memory wall）——这个词在 FlashAttention 那篇工作是标志性的（论文引用的是 Dao 等人 2022 年的 FlashAttention）。架构设计经常忽略这一点，但访存成本对实际运行效率有决定性影响。

论文按 pre-norm Transformer 的常见实现，逐项统计了每个 token 在单个残差层里维持残差流所需的访存元素数（不含层函数 $\mathcal{F}$ 内部的访存）：

代 $n=4$ 进去：HC 每 token 每层要读 $(5\times4+1)C+16+8=21C+24$ 个元素、写 $13C+24$ 个元素，而标准残差层只读 $2C$、写 $C$。读放大了大约 10 倍。注意这里还没算 $\mathcal{F}$ 内部的访存——也就是说，即便 $\mathcal{F}$ 的处理量完全没变，光是”把加宽的残差流搬进搬出”这一件事，就足够把训练吞吐吃掉了。论文的说法是：如果不用融合 kernel 去缓解，这样的 I/O 需求会显著降低训练吞吐。

三个衍生成本还在后面排着：

显存。$\mathcal{H}^{\mathrm{pre}}_l$、$\mathcal{H}^{\mathrm{post}}_l$、$\mathcal{H}^{\mathrm{res}}_l$ 都带可学习参数，它们的中间激活必须在反向传播时用到，于是必须存下来。流宽变成 $n$ 倍，这部分激活也跟着涨，往往要动用梯度检查点（gradient checkpointing）才能把显存压到可接受范围。

通信。在流水线并行中，stage 之间传递的激活就是残差流本身，流宽变 $n$ 倍就意味着通信量变 $n$ 倍。通信量涨了，流水线气泡（bubble）变大，吞吐进一步下降。

两者叠加：既要多存激活，又要多传数据，还要多读写 HBM——HC 在 FLOPs 账面上”免费”，但它把成本全转嫁到了带宽和容量上。

为什么不能直接令 $\mathcal{H}^{\mathrm{res}}=\mathbf{I}$#

看到”复合映射不再保持恒等”这个问题，最直接的解法是回到起点：干脆令 $\mathcal{H}^{\mathrm{res}}_l=\mathbf{I}$。这样复合映射恒为 $\mathbf{I}$，一切稳定性问题消失。

但论文明确否定了这条路：原始的恒等映射”从根本上排除了残差流内部的信息交换”，而信息交换恰恰是多流架构的价值所在。上一节的消融表已经证明了这一点——把 $\mathcal{H}^{\mathrm{res}}$ 关掉换成 $\mathbf{I}$，性能增益从 −0.027 直接掉回 0.0。换句话说，$\mathcal{H}^{\mathrm{res}}$ 就是 HC 的收益来源，也是 HC 的不稳定来源，二者是同一个东西。

所以 mHC 要解决的问题不是”要不要 $\mathcal{H}^{\mathrm{res}}$“，而是：能不能找到一个矩阵集合，它既允许流之间充分交换信息，又保证复合之后不会失控？

Birkhoff 多面体与三条性质#

论文的答案是双随机矩阵（doubly stochastic matrix）：元素非负、每行之和为 1、每列之和也为 1。把 $\mathcal{H}^{\mathrm{res}}_l$ 约束在这个集合上，记作 $\mathcal{P}_{\mathcal{M}^{\mathrm{res}}}(\mathcal{H}^{\mathrm{res}}_l)$，形式化定义为

三个条件逐个读：$\mathcal{H}^{\mathrm{res}}_{l}\mathbf{1}_{n}=\mathbf{1}_{n}$（$\mathbf{1}_n$ 是全 1 的 $n$ 维向量）说的是行和为 1，即矩阵右乘全 1 向量得到全 1 向量；$\mathbf{1}^{\top}_{n}\mathcal{H}^{\mathrm{res}}_{l}=\mathbf{1}^{\top}_{n}$ 说的是列和为 1；$\mathcal{H}^{\mathrm{res}}_{l}\geqslant 0$ 是逐元素非负。这个集合 $\mathcal{M}^{\mathrm{res}}$ 在数学上有名字，叫 Birkhoff 多面体（Birkhoff polytope）。

一个漂亮的边界情形：当 $n=1$ 时，这三个条件退化成一个标量必须等于 1，即 $\mathcal{H}^{\mathrm{res}}_l=[1]$——标准残差连接恰好是 mHC 在 $n=1$ 时的特例。这说明 mHC 不是对残差的背离，而是把残差连接”嵌入”进了一个更大的、按 $n$ 分层的矩阵族：$n=1$ 是残差，$n>1$ 是 mHC。这个嵌套关系在后面解释稳定性时还会用到。

论文给出了双随机约束带来的三条性质，我把它们逐条展开。

性质 1：范数保持（Norm Preservation）。 双随机矩阵的谱范数不超过 1，即 $\|\mathcal{H}^{\mathrm{res}}_l\|_2\le 1$。谱范数（最大奇异值）是矩阵对向量 $L_2$ 范数的最大放大倍数，$\|\mathbf{H}\|_2=\max_{\|\mathbf{v}\|_2=1}\|\mathbf{H}\mathbf{v}\|_2$。它 $\le 1$ 意味着这个线性映射是非扩张的（non-expansive）：任何向量的 $L_2$ 长度经过它都不会变长。

这个结论可以一行推出来。对双随机矩阵，诱导 1-范数 $\|\mathbf{H}\|_1=\max_j\sum_i|H_{ij}|$ 就是最大列和，等于 1；诱导 $\infty$-范数 $\|\mathbf{H}\|_\infty=\max_i\sum_j|H_{ij}|$ 就是最大行和，也等于 1。而谱范数被这两者夹住：

这一步用的是矩阵范数的内插不等式（等价于 Hölder 不等式在矩阵上的形式）。因此信号经过任意一层都不会在 $L_2$ 意义下被放大。

性质 2：乘法封闭（Compositional Closure）。 两个双随机矩阵相乘仍是双随机矩阵。验证只要三行：$(\mathbf{AB})\mathbf{1}=\mathbf{A}(\mathbf{B}\mathbf{1})=\mathbf{A}\mathbf{1}=\mathbf{1}$；$\mathbf{1}^\top(\mathbf{AB})=(\mathbf{1}^\top\mathbf{A})\mathbf{B}=\mathbf{1}^\top\mathbf{B}=\mathbf{1}^\top$；非负矩阵相乘仍非负。既然每一层的 $\mathcal{H}^{\mathrm{res}}_l$ 都在这个集合里，那么任意深度的复合映射 $\prod_{i=1}^{L-l}\mathcal{H}_{L-i}^{\mathrm{res}}$ 也一定落在这个集合里。性质 1 于是对任意深度自动成立——这才是真正的关键：不是”每层不放大”，而是”任意多层叠起来也不放大”。HC 恰恰缺的就是这一条，因为自由矩阵的乘积依旧是自由矩阵，范数没有任何界限。

性质 3：Birkhoff 多面体的几何解释。 集合 $\mathcal{M}^{\mathrm{res}}$ 是置换矩阵的凸包（convex hull of permutation matrices）——这就是 Birkhoff–von Neumann 定理。它的含义很直观：任何一个双随机矩阵都可以写成 $\mathbf{H}=\sum_{k}\lambda_k\mathbf{P}_k$，其中 $\mathbf{P}_k$ 是置换矩阵（每行每列恰有一个 1，其余为 0），$\lambda_k\ge 0$ 且 $\sum_k\lambda_k=1$。代入残差混合：

也就是说，残差混合等于”若干种流重排方式的加权平均”。置换不改变任何一条流的内容，只改变它在哪条车道上；加权平均则是把重排结果按权重融起来。这解释了为什么论文说”重复施加这类矩阵会单调地增加流之间的混合程度，起到稳健的特征融合作用”——每次乘一个双随机矩阵，都是在原有混合基础上再做一次凸平均，混合只会更均匀，不会出现某一维被无限放大的通道。回到 $n=1$ 的特例：那时唯一的置换矩阵就是 $[1]$，凸包退化成单点 $\{[1]\}$，也就是恒等映射。

均值守恒与范数正则化的推导#

论文说 $\mathcal{H}^{\mathrm{res}}_l\mathbf{x}_l$ 表现为”输入特征的凸组合”，这句话值得展开确认，因为它同时给出了均值守恒和范数正则化两个结论。

设 $\mathbf{x}\in\mathbb{R}^{n\times C}$ 的 $n$ 行分别是 $n$ 条流。$\mathbf{H}$ 双随机、非负、行和为 1，于是输出第 $i$ 行是

这是一个标准的凸组合：输出流的每个元素都落在输入流对应元素的凸包内。凸组合的两个直接推论：

1. 逐元素有界：$\min_j(\mathbf{x}_{j,c})\le(\mathbf{H}\mathbf{x})_{i,c}\le\max_j(\mathbf{x}_{j,c})$，对任意通道 $c$ 成立。这条比”谱范数 $\le 1$“更细——它说的是逐坐标都不会越界，是比整体范数更硬的约束。
2. 均值守恒：因为列和也为 1，$\frac{1}{n}\sum_i(\mathbf{H}\mathbf{x})_{i,:}=\frac{1}{n}\sum_j\mathbf{x}_{j,:}$，前面已经推过。流上的平均特征在第 $l$ 层和第 $l+1$ 层完全相同。

这两条合起来就是论文说的”良态的信号传播：特征均值被保持，信号范数被严格正则化，有效缓解了信号消失或爆炸的风险”。注意这里的逻辑链条是：非负 → 凸组合 → 均值守恒 + 有界；缺了非负这一条，凸组合就不成立，前面那两条会一起失效。

输入/输出映射的非负约束#

论文对 $\mathcal{H}^{\mathrm{pre}}_l$ 和 $\mathcal{H}^{\mathrm{post}}_l$ 也加了约束，但只是非负约束，没有要求行列和为 1：

其中 $\sigma(\cdot)$ 是 Sigmoid 函数，$\tilde{\mathcal{H}}^{\mathrm{pre}}_l$、$\tilde{\mathcal{H}}^{\mathrm{post}}_l$ 是未经约束的原始输出。Sigmoid 的值域是 $(0,1)$，所以 $\mathcal{H}^{\mathrm{pre}}_l$ 的每个元素落在 $(0,1)$ 内；$2\sigma$ 的值域是 $(0,2)$，中心在 $\sigma(0)=0.5$ 对应的 1。

论文给的理由是：“这一约束防止了正负系数复合造成的信号相消”，并且把它也看作一种特殊的流形投影。这一点值得单独强调，因为它和残差映射的约束是两种不同性质的约束：$\mathcal{H}^{\mathrm{res}}$ 上的双随机约束同时管住了”非负”和”守恒”两件事，而 $\mathcal{H}^{\mathrm{pre}}/\mathcal{H}^{\mathrm{post}}$ 只做非负——因为它们本来就要做降维/升维，行列和为 1 在形状上根本不成立（$1\times n$ 和 $n\times 1$ 的形状没法同时满足两侧归一化）。

那 $2\sigma$ 前面的 2 是哪来的？一个自然的解释是保持恒等参照：当原始 logit 为 0 时 $2\sigma(0)=1$，对应”把层函数输出按 1:1 的权重写回每条流”，这与 HC 消融实验里”关掉 $\mathcal{H}^{\mathrm{post}}$ 就用全 1 权重”的参照系一致；$\mathcal{H}^{\mathrm{pre}}$ 那一侧同理，$1/n$ 的均匀读出权重落在 $\sigma$ 值域的内部。换句话说，两个映射的约束形式选得让”恒等/均匀参照”恰好是可到达的、且位于值域内部的点，而不是被挤在边界上。

从”归一化”到”熵投影”#

论文给的算子叫 Sinkhorn-Knopp，引自 Sinkhorn 与 Knopp 1967 年发表在 Pacific Journal of Mathematics 上的经典文章 “Concerning nonnegative matrices and doubly stochastic matrices”。论文对该算子的描述是两步：

“The Sinkhorn-Knopp(·) operator firstly makes all elements to be positive via an exponent operator and then conducts iterative normalization process that alternately rescales rows and columns to sum to 1.”

第一步是指数化：给定原始矩阵 $\tilde{\mathcal{H}}^{\mathrm{res}}_l$，先算

这里的 $\exp$ 是逐元素的（论文写法就是用普通的 $\exp$ 记号）。这一步把所有元素（包括负的 logit）映到严格正数上，解决了非负约束；同时它保留了原始矩阵的序信息——原来大的元素指数化之后还是大的，相对大小的排序不变。

第二步是交替归一化，把行和、列和轮流拉回 1：

其中 $\mathcal{T}_r$ 和 $\mathcal{T}_c$ 分别表示行归一化和列归一化。把它们写成显式形式更清楚：

$\mathcal{T}_r$ 把每一行除以它自己的行和，做完之后行和全部变成 1；$\mathcal{T}_c$ 把每一列除以它自己的列和。一次 $\mathcal{T}_r$ 之后行和已满足，但列和被打乱；再做一次 $\mathcal{T}_c$ 把列和拉回来，行和又被打破。这就是为什么必须交替迭代——单独一次归一化永远只能满足一侧。

论文给出的收敛结论是：

并且明确说明实验中取 $t_{\max}=20$ 作为实用值。

伪代码大致长这样：

1
输入：原始残差混合矩阵 H_tilde ∈ R^{n×n}，迭代次数 t_max
2
输出：近似双随机矩阵 H_res ∈ R^{n×n}
3

4
M = exp(H_tilde)                    # 逐元素指数化，保证严格为正
5
for t in 1 .. t_max:
6
    row_sum = M.sum(dim=1, keepdim=True)   # 每行的和，形状 n×1
7
    M = M / row_sum                        # T_r：行归一化，行和变为 1
8
    col_sum = M.sum(dim=0, keepdim=True)   # 每列的和，形状 1×n
9
    M = M / col_sum                        # T_c：列归一化，列和变为 1
10
return M                            # 此时行和列和都近似为 1，且元素 > 0

最后一行返回时，矩阵刚刚做完一次列归一化，所以列和精确为 1，行和则带着上一轮回合残留的一点偏差——这一点在论文的稳定性分析里被明确观测到了（后面细说）。

对”熵投影”（entropic projection）这个说法，补一点背景。Sinkhorn-Knopp 迭代本质上求解的是这样一个问题：在所有非负矩阵里，找那个”最接近” $\exp(\tilde{\mathcal{H}}^{\mathrm{res}}_l)$、同时满足行列和为 1 的矩阵，距离用广义 KL 散度衡量。它最经典的解法叫迭代比例拟合（IPF，iterative proportional fitting），而交替行列归一化正是 IPF 在这一问题上的具体形式。之所以有”熵”字，是因为 $\exp$ 是熵的共轭势函数的梯度，把 logit 映到正数这一步本身就带着”最大熵”的味道。换个角度看：如果强行在 logit 空间做归一化（比如直接除行和），得到的东西在概率意义上没有合适的解释；而指数化之后，矩阵的每个元素可以直接读作非负权重，归一化后读作概率/混合比例——这才是”凸组合”语义能成立的前提。

为什么不是简单的行列归一化#

这里有一个容易被跳过的设计决策：既然要的是”行列和都为 1”，为什么不把 $\mathcal{T}_r$ 和 $\mathcal{T}_c$ 各做一次就收工？

答案在上一小节已经埋好了：一次交替到不了不动点。做完 $\mathcal{T}_r$ 之后行和是 1，做 $\mathcal{T}_c$ 之后列和是 1，但此时行和已经不是 1 了。只有当迭代进入不动点（$\mathcal{T}_r(\mathcal{T}_c(\mathbf{M}))=\mathbf{M}$）时，行列和才同时严格为 1。所以”两次归一化”给的只是一个近似，而且这个近似有多好完全不受控——它依赖矩阵本身的形状。迭代到一定轮数，是在用确定的计算量把”双随机”这个前提买到手。

第二个原因在于非负性必须显式保证。如果拿到的 $\tilde{\mathcal{H}}^{\mathrm{res}}_l$ 里有负数，直接除行和得到的是一个”行和为 1 但含负元素”的矩阵。这种矩阵看起来像归一化了，但它既不是双随机矩阵，也不满足上一节推的那套”凸组合 → 均值守恒 + 逐元素有界”的论证——负系数的组合会造成信号相消（signal cancellation），正是论文在 $\mathcal{H}^{\mathrm{pre}}/\mathcal{H}^{\mathrm{post}}$ 上加非负约束时明确要防的东西。$\exp$ 这一步把负元素变成正的小量，从源头上堵住了这个问题。

第三，指数化让整个算子可微且平滑。$\exp$ 处处可导，$\mathcal{T}_r/\mathcal{T}_c$ 是除法（在其定义域内可导），于是整个投影可以端到端反向传播。论文 §4.3.1 里专门提到他们为 Sinkhorn-Knopp 迭代写了自定义的反向 kernel——这也间接说明这个算子确实在前向/反向计算图里。

顺带一提另一个”看似更简单”的方案：为什么不用 softmax？softmax 确实能一次性给出非负且和为 1 的向量，但它归一化的是单个向量的维度。如果对矩阵的每一行做 softmax，得到的是行随机矩阵；对每一列做 softmax，得到的是列随机矩阵；两者不能同时满足。要行、列两个方向的约束同时成立，就必须在矩阵层面做交替投影——这正是 Sinkhorn-Knopp 的适用场景。

为什么取 $t_{\max}=20$#

$t_{\max}$ 直接决定投影的精度和开销：迭代越多，得到的矩阵越接近真正的双随机矩阵，但前向的开销线性增长，反向还要把整个迭代过程重算一遍（论文 §4.3.1 明确写了”for the backward pass, we derive a custom backward kernel that recomputes the intermediate results on-chip and traverses the entire iteration”）。所以每次把 $t_{\max}$ 翻倍，代价是实打实的。

$t_{\max}=20$ 是论文在”精度够用”和”开销可控”之间选的实用值，而且这个选择的后果被明确量化了。论文 §5.4 的稳定性分析说：

理想情况下，单层映射满足双随机约束，前向信号增益和后向梯度增益都应等于 1。但用 Sinkhorn-Knopp 算法做实际实现时，为了计算效率必须限制迭代次数。在他们的设置里用 20 次迭代得到近似解，结果是图 7(a) 中后向梯度增益略微偏离 1。

偏离有多大？论文给了具体数字：复合映射上的偏离会增大，但仍然有界，最大值约 1.6。对比 HC 的 3000，这是三个数量级的改善。

图：mHC 的传播稳定性，论文图 7。(a) 单层映射 $\mathcal{P}_{\mathcal{M}^{\mathrm{res}}}(\mathcal{H}^{\mathrm{res}}_l)$：前向信号增益（灰）与后向梯度增益（蓝）都紧贴 1.0，只在迭代未完全收敛的后向增益上有极轻微的偏离；(b) 复合映射：与 HC 图 3(b) 同一个纵轴尺度（0 到 2、横轴 0 到 61 子层），后向梯度增益最高爬到约 1.6，全程有界。两张图与 HC 版本对比，横轴范围一模一样，纵轴从 $10^5$ 的对数刻度变成了 2 —— 这就是”降低三个数量级”在图上的样子。（图片来源：mHC 论文）

把 HC 和 mHC 的映射矩阵直接画出来看更直观：

图：可学习映射的可视化，论文图 8。第一行是 HC，第二行是 mHC；六列分别是单层的 $\mathcal{H}^{\mathrm{res}}_1$、$\mathcal{H}^{\mathrm{res}}_{30}$、$\mathcal{H}^{\mathrm{res}}_{60}$，以及 30 层、30 层跨段、60 层的复合映射。矩阵按 token 平均得到。横轴标注的是后向梯度增益（列和），纵轴标注的是前向信号增益（行和）。（图片来源：mHC 论文）

这张图信息量极大，值得逐块读。第一行 HC：单层的 $\mathcal{H}^{\mathrm{res}}_1$ 里就出现了 $-15.29$、$18.73$ 这种量级的元素，行和标到 $-6.81$、列和标到 $18.73$；到 $\mathcal{H}^{\mathrm{res}}_{60}$ 更夸张，元素绝对值到 $-21.64$、$22.50$，行和到了 $-11.97$；再看复合映射那一侧，第 4 列（30 层复合）的元素已经到了 $-255.3$、$268.9$，第 5 列（跨段 30 层复合）出现 $-489.0$、$273.3$，第 6 列（60 层复合）干脆到 $-498.5$、$509.1$，行列和的标注值是 $-259.2$、$-219.1$、$-228.2$、$-221.0$。论文的观察是：“对 HC 来说，当最大增益很大时，其他值也往往很大，说明所有传播路径上都是普遍的不稳定。”

第二行 mHC：所有元素都是正的小数。单层 $\mathcal{H}^{\mathrm{res}}_1$ 的行和列和都精确标成 1.00（如 $0.98, 1.00, 0.98, 1.04$），$\mathcal{H}^{\mathrm{res}}_{30}$ 是 $0.96, 1.02, 1.04, 0.99$——这已经非常接近双随机。复合映射的偏差大一些：60 层复合的列和是 $0.88, 1.03, 1.00, 1.11$，跨段 30 层复合最坏的那一列标到 $1.50$——正是论文说的”约 1.6”的来源。但注意这里的关键差异不是数值大小，而是符号和有界性：HC 的复合矩阵元素可以正负几百万地抵消，列和可以是负数（意味着后向梯度经过它会被反向放大）；mHC 的复合矩阵每个元素非负、行列和都在 1 附近的正数区间，最坏也只是 1.5 倍的放大。

实验设置#

论文用语言模型预训练来验证，对比三个配置：Baseline（标准残差连接）、HC、mHC。模型是受 DeepSeek-V3 启发的 MoE 架构，注意力用 MLA，位置编码用 RoPE，归一化用 RMSNorm。HC 和 mHC 的扩展率都设为 $n=4$。

一共训了四个模型变体：

四个变体的分工是：27B 模型是系统级主结果的主角，用与其参数量成比例的数据量训练；3B 和 9B 用于观察算力缩放行为（三个规模、各自算力最优的配置点）；单独的 3B 模型在 1 万亿 token 的固定语料上训练，用来单独考察 token 缩放。优化器统一是 AdamW，$\beta=(0.9,0.95)$、$\varepsilon=10^{-20}$、权重衰减 0.1，2000 步预热，学习率用分段衰减（衰减步比例 $[0.8\times,0.9\times]$，衰减率 $[0.316,0.1]$）。