DeepSeek-V3.2 技术报告精读：DSA 的成本账、双模实现与稀疏注意力的质量验证

$k$ 与 $L$ 的比例才是真正的稀疏度

$k=2048$ 这个数字单独看没有意义，它的含义取决于上下文长度。把两者相除：

后两列是这张表真正的信息所在。主注意力的残余比例随 $L$ 线性下降——这是线性化带来的收益；索引器的残余比例则是一个不随长度变化的常数，约 11%（前面按维度与头数算的 $128/576 \times 64/128$，且假设 FP8）。两列放在一起，就能看出 DSA 的边际收益在哪里递减：$L$ 越长，主注意力那一项越接近 0，总计算量就越被那个常数约 11% 的索引器项主导。

这张表也解释了为什么短上下文下 DSA 的端到端收益有限。当 $L$ 只有 8K 时，主注意力这一项还剩 25%，与索引器的 11% 相加是 36%——单看乘加次数确实省掉了三分之二，但这只是”理论计算量”。真正花掉的时间还要加上 Top-K 排序、索引数组构造、按索引 gather 的访存碎化，以及索引器这套 kernel 的启动开销；在短序列上，这些固定成本摊不开，于是理论上接近 3 倍的计算节省在墙钟时间上可能只剩很小的优势，甚至为负。到 128K 时，两项相加约 12.7%，固定成本被长度摊薄，“稀疏”才真正变成数量级的节省。这正是 Figure 3 起始段两条线几乎重合、而长上下文段迅速分叉的原因：理论计算量的比值是一条曲线，端到端成本是另一条曲线，两者只在长上下文处收敛。

这张表也解释了为什么前 3 层保持稠密是合理的：如果前几层的注意力模式本来就比较局部，稀疏筛选在这些层上收益不大，反而增加索引器开销。first_k_dense_replace=3 的具体层数选择报告没有给出消融，但从结构上看，它把”稀疏化”推迟到浅层的表示已经稳定之后。

这张架构图应该怎么看

报告 Figure 2 把 DSA 在 MLA 下的实例化画成了一张数据流图。这张图信息密度很高，值得逐块拆开讲，因为后面所有关于”稀疏落在哪一个寻址单位上”的讨论都建立在它的结构上。

图片来源：DeepSeek-V3.2 技术报告 Figure 2。绿色部分标出 DSA 按索引器分数选出 Top-$k$ 个 KV 条目的那条路径。

图的左端是输入隐状态 $h_t$，它分出两条主路：一条进入主注意力（图上方标注 Multi-Query Attention (Core Attention)），一条进入闪电索引器（图右侧 Lightning Indexer）。

主注意力这一路先对 $h_t$ 做两次下投影，得到查询的内容分量 $\{q^C_{t,i}\}$ 与潜向量 $\mathbf{c}^{KV}_t$；再单独投影出带 RoPE 的查询位置分量 $\{q^R_{t,i}\}$ 与 key 位置分量 $\mathbf{k}^R_t$。图上方那条 “concatenate” 把 $\{[q^A_{t,i}; q^R_{t,i}]\}$ 拼接成完整的每头查询，把 $\{[\mathbf{c}^{KV}_t; \mathbf{k}^R_t]\}$ 拼接成每 token 的一个寻址单位。注意这里 $c^{KV}$ 与 $k^R$ 是拼在一起的：一个位置在显存里占 512 + 64 = 576 个元素，所有查询头共享这一份。这就是 MQA 模式的具体形态，也是 DSA 能让”选出位置”等价于”选出潜向量”的原因。

索引器这一路从 $h_t$ 投影出 $\{q^I_{t,j}\}$（$j$ 遍历 64 个索引器头）和 $\{w^I_{t,j}\}$ 这组逐头权重。图右侧那行 “partially apply RoPE” 是索引器与主注意力的一个呼应：索引器只对其查询的一部分维度应用 RoPE，与主注意力”部分维度带位置”的设计保持一致。被查询的 key 侧 $\mathbf{k}^I_t$ 也由 $h_t$ 投影，并且同样只部分带 RoPE。

绿色区域是这条图的重点。Top-k Selector 接收索引器给出的分数，在每个查询 token 上选出 $k$ 个位置，然后这些选中位置的潜向量被送进主注意力的点积。图里绿色箭头直接横跨了左右两路——说明”选”这个动作发生在索引器与主注意力之间，而不是在主注意力内部。这意味着在内核实现上，主注意力必须能够接收一个外部的”位置列表”，而不是按因果掩码自己遍历。这是稀疏 MLA kernel 与稠密 MLA kernel 在接口上最大的区别，也是站内另一篇拆解 vLLM 算子时着重讲的”索引数组如何被消费”的起点。

输出侧，每头输出 $\{o_{t,i}\}$ 被 concatenate 并经过上投影还原成隐状态 $u_t$。在 MQA 模式下这一步相当于把 $W^{UV}$ 与输出投影合并——因为注意力是在潜空间完成的，输出并不需要先还原成完整维度的 V。

把这张图与”为什么必须挂在 MLA 的 MQA 模式上”连起来看，逻辑是闭合的：绿色选择落在潜向量这一层，潜向量是所有查询头共享的最小寻址单位，所以一次 gather 读进来的 576 维数据可以被全部 128 个查询头重复使用；索引器本身用的则是另一套 128 维、64 头共享的 key，两者互不混用。如果换成 MHA 形态，选中的”位置”在每个头下都是不同的数据，一次 gather 只服务一个头，稀疏带来的带宽节省会被 gather 的访存碎化吃掉。

索引器一次打分的算术强度

理解了结构，可以再算一笔索引器打分的算术强度，用它判断这一步在 GPU 上是算力受限还是带宽受限。

每个历史位置、每个索引器头，做一次 128 维点积再取 ReLU：约 256 FLOP（以乘加计 2 FLOP）。64 个头合计约 16,384 FLOP。每读入一个位置的索引器 key 是 128 个 FP8 字节（加 scale 约 132 字节）。所以索引器的算术强度大约是

H800 的 FP8 算力相对显存带宽的比例远高于这个数（FP8 稠密算力约 1979 TFLOPS，HBM 带宽约 3.35 TB/s，比值约 590 FLOP/B）。也就是说，仅看单次打分，索引器在解码阶段是带宽受限的：GPU 的算力单元有大量空闲，时间几乎全花在把索引器 key 从显存拉进来。

这个结论与成本曲线的形状可以互相印证。解码时稀疏路径的成本线不是水平的，而是随 $L$ 缓慢上升：每多一个历史 token，就要多读一份索引器 key（约 132 字节）来打分，主注意力那部分不多读。斜率对应的正正是索引器 key 的线性增长。前面量出的 96K 对 16K、成本从 0.14 涨到 0.20 美元——约 43% 的涨幅——可以被解释为索引器 key 的读取量增长在总成本中的占比逐渐变大，而主注意力那 $k=2048$ 条潜向量的读取是常数。

prefill 时情况相反：索引器要对 $L \times L$ 个 (查询, 位置) 对打分，算术量正比于 $L^2 \cdot H^I \cdot d^I$，而读入的 key 只正比于 $L$（同一份 key 被 $L$ 个查询复用）。这时索引器的算术强度是 $\Theta(L)$，在长序列下变成算力受限。这就是为什么报告说 prefill 侧仍然保留了一个平方项，以及为什么框架里会出现”索引器预填充工作区约 825 MB”这样的大小——那其实是给这些中间结果留的空间。

Prefill：平方项没消失，只是系数变了

在 prefilling 阶段，$L$ 个查询 token 一次性对 $L$ 个历史位置做注意力。稠密 MLA 的核心注意力计算量正比于 $L^2 d_c H$，其中 $d_c$ 是潜向量维度（每 token 每层的实际读取单位）。DSA 的主注意力部分变成 $L\cdot k\cdot d_c\cdot H$，因为每个查询只处理 $k$ 个被选中的位置。

但索引器这一项仍然是完整的 $L \times L$ 打分：

把两项相加，DSA 的 prefill 复杂度其实是

逐项对应：第一项是索引器对 $L \times L$ 个 (查询, 位置) 对打分——$L^2$ 个对、每个对 $H^I$ 个头、每头点积 $d^I$ 维；第二项是 Top-K 选择与索引数组构造，它在每个查询上都要对 $L$ 个分数做一遍比较与排序，同样是 $L^2$ 量级但常数更小（只是比较，没有乘加）；第三项才是主注意力在 $k$ 个位置上的计算。只有最后一项真正线性化了。

所以报告说”从 $\mathcal{O}(L^2)$ 到 $\mathcal{O}(Lk)$“，严格讲是指主注意力这一项，而不是整条注意力路径。把三项按开源配置代进去，就能看出 prefill 的真正常数：$H^I d^I = 64 \times 128 = 8192$，而主注意力线性项在 $k=2048$ 时是 $k\,d_c H = 2048 \times 512 \times 128 \approx 1.34 \times 10^8$。后者比前者大了约 1.6 万倍——也就是说，在 2.1 节说过的主注意力 $\mathcal{O}(Lk)$ 与索引器 $\mathcal{O}(L^2)$ 之间，只有当 $L \gtrsim 1.6\times 10^4$ 时，两块的量级才接近。这给出了一个具体判断：在 16K 以下做 prefill，索引器那一项是可以忽略的零头；在 128K 时，它变成同等量级的支出，prefill 的吞吐上限由”索引器打分 + 主注意力”两部分共同决定，而不只是主注意力。这就是为什么框架侧为索引器单独准备了一块近乎 1 GB 的预填充工作区——它不是零头。

Decode：这才是 $\mathcal{O}(L)$ 字节搬运被砍成 $\mathcal{O}(k)$ 的地方

解码时每步只有 1 个查询 token，对 $L$ 个历史位置做注意力。这时两阶段的变化就完全不同了：

解码是访存受限的：GPU 的算术单元大部分时间在等 HBM。解码时稠密 MLA 每步要从显存里把整段历史 KV 拉一遍，DSA 只拉 $k$ 个潜向量。真正带来解码加速的不是”少算”，而是”少读”。稠密路每 token 读的是 576 个元素，稀疏路则是 576 个元素乘 $k$（主注意力）加上 128 个元素乘 $L$（索引器 key），而 $k=2048 \ll L$ 时这两项差别会非常大。举个例子，上下文到 128K 时：稠密路要读 $128K \times 576$ 个元素；稀疏路要读 $2048 \times 576 + 128K \times 128$ 个元素，两者之比约 0.24。也就是说，仅看在解码时每步的 KV 读取量，稀疏路只占稠密路的四分之一左右——这与成本曲线中段 96K 处约 7 倍的差距并不完全吻合（端到端成本还包含权重读、MoE、索引器打分中的计算部分等），但方向一致：解码加速的来由是 KV 读取量的结构性下降，而不是算力使用率的提高。

这个拆分也解释了报告 2.3 里对”短序列预填充”的特殊处理为什么存在：prefill 时那个平方项（索引器打分）在短上下文下占比会急剧上升，而主注意力本来就不贵，整条路径算下来可能反而更慢。下一节讨论的 masked MHA 模式，正是对这个问题的直接回应。

为什么要”模拟”而不是”跑稀疏”

DSA 的输出定义是：每个查询只对 Top-$k$ 的历史位置做注意力。如果 $L \le k$，那么 Top-$k$ 选出来的就是全部 $L$ 个位置，稀疏选择在语义上等价于全注意力。但实现路径不同：

• 稀疏路径：索引器打完分 → 做 Top-K → 生成长度为 $k$ 的索引数组 → 稀疏 MLA kernel 按索引 gather 读取。
• 全注意力路径：不做打分、不做选择，直接按因果掩码（causal mask）跑 MLA kernel。

短序列时，稀疏路径多做了一次全量打分、一次排序、一次索引数组构造，而主注意力本来要算的 $L$ 个位置也就那么点。索引器那一整套固定开销摊在很小的序列上，就成了负收益。论文选择在模型侧直接准备一条稠密回退路径，而不是让框架在 kernel 侧自己判断。

“masked MHA”里的 masked 和 MHA 各指什么

这两个词要分开看。

masked 指因果掩码，即每个查询只能看到自己及之前的位置。短序列 prefill 时，整段提示是第一次被编码，所以严格需要因果掩码防止看到未来 token。这一点与稀疏路径不同：稀疏路径里 Top-K 选出的位置天然是因果的（索引器打分只看前序），掩码不必单独叠加。全掩码 MHA 内核本身对掩码有成熟处理，所以直接用。

MHA 指这一路径使用 MLA 的 MHA 模式，而不是解码时用的 MQA 模式。附录 A 有一张图专门画了这两种模式的区别，报告的原话是：

For DeepSeek-V3.1-Terminus, the MHA mode is used for training and prefilling, while the MQA mode is used for decoding.

图片来源：DeepSeek-V3.2 技术报告附录 A Figure 7。(a) 为 MHA 模式：每个头的查询分别与经由上投影还原出的完整 K/V 做注意力；(b) 为 MQA 模式：各头的查询先吸收 $W^{UK}$，直接在共享的潜向量 $c$ 上做注意力，V 的上投影被吸收进输出投影。

这张图里最关键的是”上投影发生在哪里”：

• MHA 模式（图 a）：查询只带自己的内容分量与 RoPE 分量；key 与 value 都经过上投影 $W^{UK}$、$W^{UV}$ 还原成完整维度后，每个头使用其中一段。潜向量 $c$ 不直接参与注意力的点积，而是先被展开成每头独立的 K/V。
• MQA 模式（图 b）：查询向量在进入注意力前被 $W^{UK}$ 吸收（图中写的是 $\{q^I_{t,i}\}$ 经 $W^{UK}$ 变换的那条分支），key 侧直接使用共享的潜向量 $c$，所有头共用同一个 $c$；输出侧 $W^{UV}$ 被吸收进输出投影。所以 MQA 模式下内存中只读一个潜向量，所有头共享。

对稀疏注意力来说，MQA 模式是更自然的选择：Top-K 选出的是”潜向量位置”，只要所有头读的是同一份潜向量，选出来的 $k$ 个位置就可以被所有 128 个头共享——报告 2.1 节给出的理由正是 “each key-value entry must be shared across multiple queries for computational efficiency”，并引用了 NSA 在 kernel 层的同一结论。而 MHA 模式下每个头的 key 是独立还原出来的，稀疏选择要是按位置选，每个头都要去 gather 自己那份数据，访问模式会变得零碎。

也就是说，masked MHA 模式这条路根本不做 token 选择：它不做索引器打分，直接用因果掩码跑 MHA 形态的 MLA。这在短上下文下成立，因为 $L \le k$ 时 Top-$k$ 覆盖了全部历史位置，稀疏路径的”选择”在语义上没有产生任何筛选。所以用稠密注意力去”模拟”它，输出是一致的（或者说在所有可选位置都看了的情况下是一致的）。

MHA 与 MQA 的选择：用算力换带宽与用带宽换算力

附录 A 那张图回答了另一个问题：为什么 prefill 用 MHA 模式、decode 用 MQA 模式，而不是统一成一种。

MQA 模式的优势在带宽。 解码时每步只有 1 个查询，历史上所有位置都要被读一遍。MQA 模式下内存里只存 576 维的潜向量，读进来之后所有 128 个头共用；而 MHA 模式要先把潜向量经上投影还原成每头独立的 K/V，相当于在读取阶段多了一次矩阵乘，并且每个头读到的数据不同，读带宽按头数放大。解码是带宽受限的，所以必须选 MQA。报告的 Figure 7 文字部分也明确：V3.1-Terminus 的 MQA 模式用于 decoding。

MHA 模式的优势在算力利用率。 预填充时有一整段查询，算术强度高，瓶颈在算力而不在带宽。MHA 模式把每个查询头与它自己的完整 K/V 做点积，没有”先吸收再计算”那一步额外的矩阵乘；而且 K/V 的还原可以在高并发的 prefill 中与查询侧的计算重叠。用 MQA 模式做 prefill，反而会因为查询侧要先经过 $W^{UK}$ 的吸收变换而多一些常量开销。

这两句话合起来是同一枚硬币的两面：MHA 用更大的 KV 读带宽换取更直接的算力路径，MQA 用额外的吸收矩阵乘换取更小的读带宽。DSA 的稀疏选择挂在哪一种模式上，取决于该阶段的主要矛盾。prefill 的稀疏主注意力如果按”位置”选，在 MHA 模式下每头都要各自 gather，访存会碎；这也是为什么论文在实例化 DSA 时明确选择了 MQA 模式，而 short-prefill 的稠密回退可以用 MHA 模式——因为它根本不做稀疏选择，不需要共享寻址单位。

这条路径在框架里的对应物

站内的 DSA 稀疏注意力完全拆解：从 DeepSeek-V3.2 的闪电索引器到 vLLM 的算子实现 里记录过 vLLM 侧的对应判据：K->ne[1] >= max(4096, 2*n_gather)，即当上下文长度太短（小于 4096 或小于两倍 $k$）时，稀疏路径切换为稠密路径。模型侧的 masked MHA 与框架侧的这条门槛是同一件事的两个层次：模型作者知道短上下文下稀疏不划算，所以在推理实现上专门准备了稠密回退。

这也给部署者一个可以直接量测的假设：在自己的服务上，把上下文长度从 2K 一路扫到 16K，看 DSA 路径的每 token 时间在哪个长度开始低于稠密路径的对应值。论文没有给出这个交叉点的数字，但 masked MHA 模式的存在本身就说明了交叉点确实存在，而且位于”短”这一侧。

索引器 key 每 token 存多少

索引器的 key：$k^I_s \in \mathbb{R}^{d^I}$ 是一个 128 维向量，没有头维（MQA 式共享），也不做 MLA 的那种低秩压缩。按 FP8 存储，每 token 每层是 128 字节加一个逐 token 的缩放因子（dequant scale），实际约 132 字节/token/层。

主注意力的 KV 每 token 每层是多少？MLA 的潜向量是 kv_lora_rank=512，加上 qk_rope_head_dim=64 的 RoPE 分量，共 576 个元素。在 FP8 下约 576 字节，再加缩放。

所以索引器缓存的开销量级是主 KV 的 约 $132 / 576 \approx 23\%$。这个比例不随上下文变化，是一个结构性的常数项。对 128K 上下文、61 层、FP8 存储来说，索引器缓存大约是 $132 \times 61 \approx 8$ KB/token，一段 128K 的上下文就是约 1 GB 量级的额外显存——和主 KV 池是同一数量级的东西，不能当零头忽略。

它在推理时的作用不同

主 KV 是”只读”的：解码时只追加不改写，前缀缓存可以长期保留。索引器 key 也是这样，同样的前缀可以被重新使用。但两者有一个差别：主注意力只读 $k$ 个位置，索引器 key 要读全部 $L$ 个位置。所以索引器缓存的读带宽不随 $k$ 下降，而是随 $L$ 线性增长——这就是成本曲线里稀疏线不是完全水平、而是缓慢上升的那个斜率。

这带来一个工程推论：前缀缓存系统必须同时缓存两套东西。站内的 GLM-5.3 推理全链路（一）：一个请求在 SGLang 里经过哪些算子、哪些通信 记录过 SGLang 处理 DSA 模型时索引器缓存与主 KV 分池管理的情况，GLM-5.3 推理全链路（三）：1M 上下文的 Prefill——分块预填、上下文并行与索引器的二次方账 则算了 prefill 分块时索引器需要重复打分的那笔账。对 V3.2 来说，前缀命中时如果只命中主 KV、没命中索引器 key，就得为命中段重新跑索引器打分——这比重新跑主注意力还贵，因为打分是平方项。反过来，如果索引器缓存命中、主 KV 没命中，稀疏选择是对的，但主注意力没有数据可读。两本账必须一起命中才有意义。

与 GQA 的对比：同样是共享，压缩的对象不同

索引器 key 的”所有索引器头共享一份 128 维 key”是 MQA 形态。它与 GQA 的区别值得单独说一句，因为两者都常被简称为”共享 KV”。

GQA 是把查询头分组，每组共享一套 K/V：头部数从 $H$ 个降到 $G$ 组，KV 容量按 $H/G$ 下降，但每组的 K/V 仍是完整维度 $d_h$。索引器这里则是 $H^I=64$ 个查询头共享 1 份 key，比率是 64:1，且 key 的维度也从主注意力那边的 576 维降到了 128 维。也就是说索引器同时做了两件事：共享（64 个头读同一份 key）与降维（576 → 128）。前者是 GQA/MQA 式的思想，后者是 MLA 式的思想。

这个双层压缩正好服务于索引器的目的：它需要在 $L^2$ 个 (查询, 位置) 对上打分，所以每个位置的数据要越小越好；它需要 64 个头提供足够的表达能力来近似主注意力的分布，所以头数不能太少；但它并不需要像主注意力那样精准，所以头维度可以小。把”共享一份 key”与”低维 key”叠加，每个位置的读入带宽被压到正好 128 个 FP8 字节——这大概也是 $d^I=128$ 这个具体数字的来源：它是 FP8 下一个完整的 128 字节读事务，在 HBM 上能够对齐高效地读取，不会因为非对齐而多读。

两本账在时间上不同步

缓存的第二层问题不是容量，而是寿命。主 KV 与索引器 key 都由同一个前缀产生，命中和失效的粒度理应一致；但在实际系统里，它们往往不是同时写入、也不是同时被驱逐的。

一个具体场景是 prefill 分块。128K 的提示被切成若干块送进 GPU 时，主 KV 每算完一块就写一块；索引器 key 也每块写一块。只要块边界一致，两本账的末尾位点就是对齐的。但如果系统为了节省索引器的工作区，把索引器打分改成”只在块边界处对整段历史一次性做”，那么第二块的索引器 key 可能晚于主 KV 写入——在这一小段时间里，前缀缓存命中主 KV 却查不到对应的索引器 key，稀疏路径无法启动。反过来，如果驱逐策略按”块引用计数”回收主 KV，而索引器缓存按”层”整体驱逐，也可能出现只有索引器 key 被清掉的情况。

这些不同步在多请求共享前缀时会被放大。前面提到的站内文章分析过前缀共享的扇出问题：同一个长前缀同时被多个请求命中时，主 KV 的引用计数会瞬间很高，而索引器 key 若没有被纳入同一个计数体系，就可能被误判为冷数据。对 DSA 模型来说，这类错误的代价比普通模型高：重新算主 KV 只是线性开销，重新算索引器分数是平方开销。

前 3 层是稠密注意力

开源配置里还有一个细节：first_k_dense_replace=3。这意味着前 3 层不做 DSA，走的是普通稠密注意力。这几层不产生索引器 key，也就不需要索引器缓存；它们的 KV 是常规的。这对统一 KV 池的实现有影响——池子里的层要按”是否有索引器缓存”分成两类来管理，块大小与布局都可能不同。

先说清楚三层评测各自在测什么

在逐层拆开之前，先把三层评测的假设逻辑讲清楚，否则容易把”持平”理解成”等价”。

任何一次架构改动对模型能力的影响，都可以拆成两个来源：一是表示能力的损失——稀疏注意力让每个查询只看一部分历史，理论上可能丢掉一些需要远距离信息才能完成的任务；二是优化路径的变化——继续预训练+后训练的分布与原来的训练过程不同，可能让模型学到的东西有偏差。三层评测分别想排除的来源并不一样：

• 标准基准主要排第二项：它用的是常规评测集，短上下文下两模型的注意力覆盖几乎没有差别，所以如果分数持平，说明优化路径的变化没有引入系统性偏差。
• 人类偏好同样排第二项，但用控制变量的方式（共享后训练），并且引入的是”用户实际偏好”这一外部信号，而不只是评测集分数。
• 独立长上下文评测才是唯一直接检验第一项的：它用长序列，让稀疏选择真正开始筛选，然后看模型是否退步。

换句话说，前两层是”证明没有坏”，第三层是”证明真的没坏”。这个分工解释了为什么报告对第三层投入单独一段、强调”此前未见过”与”独立”。

V3.2-Exp 与 V3.2 是两个不同的验证对象

读 2.2 节时有一个很容易忽略的口径问题：这三层评测大部分是在 V3.2-Exp 上做的，而不是最终的 V3.2。 报告原文里 AA-LCR 与 Fiction.liveBench 的讨论明确指向 V3.2-Exp，ChatbotArena 的 Elo 也是 V3.2-Exp 与 V3.1-Terminus 的对照。原因不难理解：架构从 V3.1-Terminus 换到 V3.2 时，真正需要验证的是”换成 DSA 之后模型有没有变形”，V3.2-Exp 正好是这个切换点上的产物；而 V3.2 相对 V3.2-Exp 的改进来自后训练，被放在第 3 章与第 4 章的评测里，属于另一套口径。

这对引用时的影响是：如果想论证”稀疏注意力没有伤到质量”，应该指向 2.2 节的 V3.2-Exp 数据；如果想论证”V3.2 这个模型整体有多强”，应该指向第 4 章的评测表。两层数据和两种问题，混在一起引用会得出错误的结论。

第一层：标准基准——证明短上下文能力没有退化

报告原文说 2025 年 9 月用一套覆盖多种能力的基准评测了 V3.2-Exp，与 V3.1-Terminus 对比，“we do not observe substantial performance degradation … on both short- and long-context tasks”。

这一层验证的是：在常规评测集上，加入了稀疏选择后模型的基础能力没有系统性下滑。 但它的盲区也很清楚——这些评测集大多是短上下文的；即便有长上下文任务，它们的上下文长度也远小于 128K，稀疏路径在这些长度下与稠密路径的差异本来就不大（$L$ 接近 $k$ 时 Top-$k$ 几乎覆盖全部历史）。它证明的是”没变坏”，无法区分”稀疏机制本身是否足够好”。

一个自然的反问是：每个查询只保留 1.6% 的历史位置，凭什么质量不掉？这与注意力分数的分布形态有关。站内分析过的 H2O 完全拆解：抓住 KV Cache 里的「重击者」，20% 预算无损生成（NeurIPS 2023） 与 Quest 完全拆解：查询感知的页级稀疏注意力，让长上下文解码只读有用的 KV 都观察到同一件事：在长上下文里，每个查询对历史位置的注意力分数高度不均衡，少数位置拿走绝大部分权重，其余位置贡献接近零。DSA 的 $k=2048$ 相当于把这个经验事实写进架构，并训练模型适应它。1.6% 的选择比例之所以够，是因为真正参与加权的位置本来就远少于 1.6%——剩下的选择更多是在”不重要之中挑一些备用”。

但这里有一个必须分清的点：注意力权重集中是”观察”，而索引器能否在每层、每个查询上都选出那个集中的集合，是”能力”。前者是数据分布的性质，后者要靠索引器训练来保证——报告 2.1.1 节那段稠密热身训练做的就是这件事，对推理侧不必展开。

第二层：人类偏好——证明后训练链路没有被打乱

报告指出，V3.1-Terminus 与 V3.2-Exp 共享同一套后训练策略，用 ChatbotArena 做间接评估，2025 年 11 月 10 日取得的 Elo 分数”closely matched”。

这一层设计的巧妙之处在于控制变量：如果两个模型的后训练策略一样，两者 Elo 接近，就说明基础 checkpoint 的能力没有因为 DSA 而改变——因为后训练能放大的能力上限是由基座决定的。同时也排除了”性能看起来好是因为后训练补了上来”这种解释。它排除不了的，是 ChatbotArena 本身对长上下文的不敏感性——普通用户的对话几乎没有 128K 长度的场景。

第三层：独立长上下文评测——证明真正的稀疏场景没有回退

这一层是前三层里最重要的，因为它是唯一直接测”DSA 在长上下文下是否退化”的。报告说，V3.2-Exp 发布后若干独立的长上下文评测用的是此前未见过的测试集，并给出两个代表：

• AA-LCR（Artificial Analysis Long Context Reasoning）：V3.2-Exp 在推理模式下比 V3.1-Terminus 高 4 分。
• Fiction.liveBench：V3.2-Exp 在多个指标上持续优于 V3.1-Terminus。

“此前未见过”这个限定很重要：它意味着这些分数不是训练数据的记忆效应能解释的。AA-LCR 那 4 分的提升尤其有说服力——因为它在长上下文推理上是独立的第三方评测，而不是 DeepSeek 自己挑的榜。如果 DSA 每 token 只看 1.6% 的历史、质量却在独立长上下文榜单上上升，那么”token 级的稀疏选择在这个规模上是对的”这一假设就有了实质性证据。

三层合起来看，报告的质量论证结构是：短上下文能力不变（标准基准）→ 基座能力没变（人类偏好）→ 长上下文能力不降甚至上升（独立评测）。三层分别对应 $L$ 短、$L$ 中等、$L$ 长三个区间。它没有回答的问题是：$L$ 在 $k$ 附近到数万之间的过渡带质量如何——那是稀疏选择开始真正起筛选作用的区间。报告对此只字未提，也未见公开的 $k$ 扫描曲线。这也是部署者最该自己量测的区间：在真实业务数据上，把上下文从 4K 拉长到 32K，逐档观察质量与延迟。