正在获取所在地区…
正在读取天气
音乐
暂未播放
QuantMLA 完全拆解:双路径误差归因与 INT4 MLA KV 缓存量化
背景:MLA 已经把缓存压得很小,为什么还要再压
Multi-Head Latent Attention(MLA)是 DeepSeek-V2 引入、DeepSeek-V3 延续的注意力结构。它和常规 Multi-Head Attention(MHA)最大的差别,是不把每个头的 Key 和 Value 完整缓存下来,而是只缓存一个低秩的 content latent,再加一份解耦的 RoPE key。以 DeepSeek-V3 的配置为例,每个 token、每一层只需要存 512 维的 content latent 和 64 维的 RoPE key,合计 576 个元素;换成 BF16 是 1152 字节。相比同样头数的 MHA,这个数字已经小了一个数量级。MLA 的完整推导、矩阵吸收与 FlashMLA 的实现细节,可参考 MLA 完全拆解。
但“小”是相对的。1152 字节乘以 131072 个 token,再乘以 61 层,单条 128K 上下文的请求就要占 9.2 GB 左右的 KV 缓存。推理服务不会只跑一条请求,批处理、长上下文、多轮对话叠加之后,缓存容量会重新变成瓶颈。KV cache 的容量决定了同时能驻留多少 token,而驻留 token 数又直接决定调度器是否需要抢占、是否要重算 prefill。对 MLA 来说,低比特量化因此依然有价值:把 16-bit 降到 4-bit,理论上就是 4 倍的驻留能力。
问题是,MLA 的缓存不是一块均质的张量,而是两条功能完全不同的路径。
现有做法为什么只压了一半
目前 MLA 的低比特实践基本遵循同一个分工:content cache 压到 FP8,RoPE key cache 继续保留 BF16 或 FP16。FlashMLA 为 DeepSeek-V3.2 提供的布局就是 FP8 content 加 BF16 RoPE;SnapMLA 把 content 量化和注意力执行做了协同设计,但同样保留高精度 RoPE key。这个做法在工程上很自然:content latent 维度大、占内存多,压它能立刻省空间;RoPE key 只有 64 维,看起来“没多少油水”。
于是出现了一个没有被系统回答的问题:RoPE key cache 到底能不能压到 4-bit?如果能,content 和 RoPE 同时压到 INT4 时精度会怎样?两条路径的量化误差对最终 attention 输出的影响是否一样?
QuantMLA 这篇工作(arXiv 2609.36760,2026 年 9 月公开,香港大学与美团 LongCat 团队合作)给出的答案是否定的:两条路径的误差影响并不一样,而且在相同的缓存重建误差下,RoPE 路径造成的输出失真始终更大。更小的缓存不等于更小的影响。文章的核心贡献可以概括成三件事:
- 建立 MLA 双路径量化误差的分析模型,用 285 个注意力层、6 个模型(16B 到 1T 参数)验证 RoPE 路径的误差放大现象,并给出“算子敏感度 + 误差能量分配 + 方向耦合”的机理解释。
- 在这个分析指导下,为两条路径分别推导可离线融合的等价变换空间,并用与各自功能对齐的目标函数学习变换:content 路径重建 attention 输出,RoPE 路径重建 positional QK logits。
- 实现原生低比特 MLA 解码 kernel,把解包与反量化融进注意力计算,并在 vLLM 服务栈上验证容量收益。
最终结果是在四个 MLA 模型家族上首次实现 content 与 RoPE 缓存的联合 INT4(记作 C4R4),精度接近 BF16;把 content 进一步压到 INT2、RoPE 保持 INT4(C2R4),在推理与代码任务上仍保持竞争力。128K 上下文下物理缓存压缩 3.59 倍,在缓存压力场景下整任务输出吞吐相对 BF16 提升 5.168 倍。
这篇文章按“现象—机理—方法—系统—数据”的顺序拆解这项工作。先把 MLA 双路径的计算写成可分析的形式,再解释为什么相同的缓存误差会带来不同的输出误差,然后逐条推导两条路径的变换空间与学习目标,最后看 kernel 和服务层的实际表现。
把 MLA 的双路径写成可分析的形式
分析量化误差,第一步是把“缓存里的什么量、经过哪些运算、最终走到哪里”写清楚。QuantMLA 沿用 MLA 的矩阵吸收写法,用行向量表示激活。
设第 ℓ 层缓存的 content latent 为 C∈Rn×dc,解耦 RoPE key 为 KP∈Rn×dr,其中 n 是已缓存的 token 数,dc 是 content 维度,dr 是 RoPE key 维度。对第 h 个注意力头,定义吸收后的 content query
QˉC,h=QC,hWK,h⊤,以及 value 到输出的映射
Bh=WV,hWO,h.这里的 QC,h 是当前 token 的 content query 分量,WK,h 是把 content latent 映射成该头 Key 的上投影,WV,h 是映射成 Value 的上投影,WO,h 是该头的输出投影。矩阵吸收的意思是:推理时不需要真的把 C 还原成每个头的 Kh=CWK,h⊤ 和 Vh=CWV,h⊤,而是把 WK,h⊤ 乘进 query、把 WV,hWO,h 合成一个矩阵,直接和 latent 作用。
在这个写法下,第 h 个头的注意力分数与输出是
Sh=τ(QˉC,hC⊤+QP,hKP⊤)+Mattn,Ah=softmax(Sh),Y=h∑AhCBh.其中 QP,h 是经过 RoPE 旋转的 query 分量,τ 是模型相关的注意力缩放系数,Mattn 是加性因果掩码(有效位置为 0,无效位置为 −∞)。Ah∈Rm×n 是当前 m 个 query token 对 n 个缓存 token 的注意力概率,Y 是本层 attention 的输出(已过输出投影)。
这两个公式把缓存的角色分得很清楚:
- content 路径:C 同时参与匹配(QˉC,hC⊤)和聚合(AhCBh)。它既决定“看谁”,又决定“看到的内容是什么”。
- RoPE 路径:KP 只参与位置匹配(QP,hKP⊤)。它只影响注意力分数,不影响被聚合的 value。
从存储角度看,每个 token、每一层只存 {C,KP},共 dc+dr 个元素。以 dc=512、dr=64 计算,就是 576 个元素。这个数字是后面所有容量账的基础:INT4 打包后每元素半个字节,加上 scale、zero point 等元数据,论文实测每 token 每层 320 字节;BF16 则是 1152 字节。
从误差分析角度看,两个公式还揭示了一个不对称:content 路径的误差会同时进入 softmax 的输入和被 softmax 加权的 value,RoPE 路径的误差只进入 softmax 的输入。这个差别在下一节会变成精确的误差路径分解,也是理解“为什么 RoPE 更敏感”的起点。

图 1 是论文的总览。左上角是核心现象:在匹配的缓存重建误差下,六个模型的 RoPE 路径响应都高于 content 路径,比值从 1.94 倍到 6.86 倍。右上角是 C4R4 在四个模型上的平均分与 BF16、SmoothQuant†、QuaRot† 的对比。下半部分给出方法的三段式:先构造两条路径各自的可离线融合变换空间,再用路径特定的函数目标学习变换,最后把变换完全融进原模型参数,推理时不做任何在线变换。右下角是系统结果:128K 下 3.59 倍缓存压缩,缓存压力场景 5.168 倍整任务吞吐。
现象:相同的缓存误差,不同的输出失真
如果只看“缓存重建误差”,也就是量化前后缓存张量的归一化均方误差(NMSE),两条路径似乎可以直接比较:谁的重建误差小,谁的量化就更安全。QuantMLA 的第一个实验就是对这个直觉做控制变量检验。
匹配误差协议
实验设计很克制:每次只扰动一条路径的缓存,另一条路径和模型参数保持全精度。扰动方向不是随便取的高斯噪声,而是由 INT4 仿射量化实际产生的误差方向,然后把这个误差向量整体缩放到统一的缓存 NMSE =0.01。缩放只改变误差的幅度,不改变方向,因此比较的是“同样大小的误差能量、不同的误差方向”会带来什么后果。
对每条路径,定义响应
Rb=NMSEcache,bNMSEout,b,b∈{C,P},其中 NMSEout,b 是只扰动路径 b 时、经过输出投影后的 attention 输出失真,NMSEcache,b 是缓存本身的失真。Rb 的含义是“每单位缓存重建误差换来多少输出误差”,量纲上把缓存空间的大小归一掉了。
实验覆盖六个模型、四个 MLA 家族:DeepSeek-V2-Lite、DeepSeek-V3-Base、DeepSeek-R1、Kimi-K2-Instruct、LongCat-Flash-Lite、GLM-4.7-Flash,总参数量从 16B 到 1T,共 285 个注意力层。输入来自 WikiText 和 C4,各三个固定随机种子,每个单元格取 8 条互不重叠的 512-token 序列。逐层计算响应,再聚合到模型级。
结果:RoPE 路径一致更“贵”
模型级聚合结果如下表所示。表中数值是响应 Rb,最后一列是 RoPE 响应与 content 响应的比值。
| 模型 | content 响应 | RoPE 响应 | RoPE/content |
|---|---|---|---|
| DeepSeek-V2-Lite | 0.620 | 3.925 | 6.331 |
| DeepSeek-V3-Base | 0.452 | 1.751 | 3.871 |
| DeepSeek-R1 | 0.494 | 1.784 | 3.611 |
| Kimi-K2-Instruct | 1.594 | 3.095 | 1.941 |
| LongCat-Flash-Lite | 0.594 | 4.077 | 6.864 |
| GLM-4.7-Flash | 1.026 | 2.462 | 2.400 |
六个模型的比值落在 1.941 到 6.864 之间,没有一个模型出现 content 更敏感的反例。需要注意,模型级比值不是逐层比值的算术平均,而是“RoPE 的平均响应除以 content 的平均响应”;图 2 中的层间分布则用中位数和四分位距描述。
这个结果之所以重要,是因为两条路径的缓存大小差了 8 倍(512 对 64)。如果按“误差能量按维度均摊”的朴素想法,64 维的 RoPE key 即使全错,能造成的总扰动也应该更小。实际结果反过来:RoPE 路径的每单位误差更致命。论文由此提出一个判断:缓存重建误差不是功能失真的充分代理指标。量化方案如果只盯着 cache NMSE,很容易把预算花在“大而钝”的 content 上,却在“小而尖”的 RoPE 上留下致命误差。

图 2 给出逐层的细节。每个子图对应一个模型,横轴是层号,纵轴是对数刻度的响应;蓝色是 content,红色是 RoPE。可以看到三件事。第一,RoPE 响应在绝大多数层都高于 content,但并非每一层都如此,层间差异很大。第二,响应随层号并不是单调的,浅层和深层的比值可能相差一个数量级。第三,右侧的比值分布用菱形标出中位数、须线标出四分位距,说明“RoPE 更敏感”是统计趋势,不是某一层的偶然。图 6 在附录中把 285 层画成了完整的层×模型热力图,结论一致。
层间差异本身也是个提示:敏感度是“算子相关”的,而不是一个全局常数。不同的 WK,h、WV,h、WO,h、不同的注意力尺度、不同的激活分布,都会改变误差从缓存传到输出的增益。这直接引出了下一个问题:这个增益由什么决定?
误差到底怎么走到输出:精确的有限误差路径
要解释响应差异,先把误差路径写成恒等式,而不是一阶近似。设 content 缓存的量化误差为 ΔC,RoPE key 缓存的量化误差为 ΔKP。在矩阵吸收的写法下,两条路径对注意力分数的扰动分别是
ΔSC,h=τQˉC,hΔC⊤,ΔSP,h=τQP,hΔKP⊤.记扰动后的注意力概率为 A^b,h=softmax(Sh+ΔSb,h),注意力变化为 ΔAb,h=A^b,h−Ah。一次只扰动一条路径时,输出变化可以精确写成
ΔYC=h∑(ΔAC,hCBh+AhΔCBh+ΔAC,hΔCBh),ΔYP=h∑ΔAP,hCBh.这两个式子对任意有限的扰动都成立,没有做线性化。它们的结构差异非常关键:
- content 路径有三项。第一项 ΔAC,hCBh 是“注意力权重变了,但 value 还是原来的 content”;第二项 AhΔCBh 是“注意力权重没变,但被加权的 content 本身变了”;第三项 ΔAC,hΔCBh 是两者的交互——权重和 value 同时被扰动。
- RoPE 路径只有一项。C 没有被扰动,value 不变,只有注意力权重因为位置分数变化而改变。
这解释了一个容易被忽略的点:如果只重建 attention 分数(score-only reconstruction),content 路径的第二项和第三项完全不会被约束。而 content 路径的 value 和 key 来自同一个 latent,量化误差会同时污染“看谁”和“看什么”。这也意味着 content 路径的量化目标不能只看 logits,必须看最终的 attention 输出。后面的函数对齐目标正是从这里来的。
反过来,RoPE 路径的误差路径更“干净”:它只通过位置分数进入注意力权重,不碰 value。这种结构上的单纯性既是坏事也是好事。坏在它直接改的是 softmax 的输入,而 softmax 对分数差异的敏感度很高;好在它的误差可以用 positional QK 误差精确刻画,并且能推出一个有限的输出误差上界(第 7 节)。
一个数值直觉
考虑单个 query 对 n 个 key 的注意力。softmax 对分数扰动的敏感度取决于当前分布的“尖锐程度”:如果注意力已经很集中,微小的分数变化可能改变 top-1 的选择;如果注意力很平坦,分数整体平移几乎不影响权重,但不同 key 之间的相对变化仍会重新分配概率。
RoPE 分数扰动是“按位置”的:QP,hΔKP⊤ 对每个 key 产生不同的偏移,直接改变 key 之间的相对排序。content 分数扰动 QˉC,hΔC⊤ 同样改变排序,但它同时还改变了 value。两者都会改权重,可是 content 的 value 扰动往往和权重扰动部分抵消或部分叠加,具体取决于 ΔC 的方向;RoPE 没有这个“缓冲”。
这个直觉只能解释方向,解释不了为什么在匹配误差下 RoPE 的响应会高出一个数量级。要解释幅度,需要看局部增益。
局部放大模型:为什么更小的缓存反而更伤人
从 Jacobian 到瑞利商
把路径 b 的缓存状态向量化,记为 cb∈RDb,量化误差记为 eb。设输出(经过输出投影后的 attention 输出)向量化为 y=vec(Y),定义从缓存扰动到输出扰动的 Jacobian
Jb=∂cb∂y,Hb=Jb⊤Jb.沿着实际量化误差方向,局部放大倍数是
Gb(eb)=∥eb∥22∥Jbeb∥22=eb⊤ebeb⊤Hbeb.这是一个瑞利商(Rayleigh quotient)。Hb 是对称半正定矩阵,它的特征值描述“在哪个方向上扰动会被放大”,特征向量描述“哪些扰动方向最敏感”。同样的误差能量 ∥eb∥22,如果 eb 恰好落在最大特征值对应的特征向量附近,Gb 就大;如果落在小特征值对应的子空间,Gb 就小。
在局部近似下,输出 NMSE 与缓存 NMSE 的关系是
NMSEout,b≈NMSEcache,b⋅∥y∥22∥cb∥22⋅Gb(eb).这一步把“误差有多大”和“误差有多毒”分开了:前者是缓存 NMSE,后者是 Gb。匹配误差实验固定了前者,观察到的响应差异就来自后者。
三个可解释的分量
直接把 eb⊤Hbeb 展开成对角项与非对角项:
eb⊤Hbeb=i∑(Hb)iieb,i2+i=j∑(Hb)ijeb,ieb,j.令 Tb=tr(Hb)/Db,再定义
Ab=Tb∥eb∥22∑i(Hb)iieb,i2,Ob=∥eb∥22∑i=j(Hb)ijeb,ieb,j,就得到精确恒等式
Gb=TbAb+Ob.三个量的含义分别是:
- Tb 是平均算子敏感度,等于 Hb 对角线均值(也是特征值均值)。它只由模型和层决定,与具体误差方向无关。
- Ab 是误差能量在“高对角敏感度坐标”上的分配比例。如果误差在各坐标上均匀分布,Ab≈1;如果误差集中在不敏感的坐标上,Ab<1,相当于把误差“藏”进了模型不在乎的方向。
- Ob 是有符号的跨坐标方向耦合。它取决于 Hb 的非对角结构和误差分量之间的符号关系,可正可负。
这个分解解释了一个反直觉现象:两条路径可以有相同的缓存误差能量、相同的算子敏感度 Tb,却因为误差方向不同而得到完全不同的输出失真。content 路径的误差未必“温和”,RoPE 路径也未必“天然更敏感”——真正决定结果的是误差几何。
论文还用 Rademacher 向量–Jacobian 积估计 Hb 的迹和对角线:对随机探针 r,令 gb=Jb⊤r,则 Er∥gb∥22=tr(Hb),Er[gb⊙gb]=diag(Hb)。每条路径用 256 个探针,在缓存坐标下估计。
干预实验:改变误差分配,不改误差能量
如果 Ab 真是差异的来源,那么保持误差能量不变、只改变误差在坐标和 token 之间的分配,就应该显著改变增益。论文在 DeepSeek-V2-Lite 第 20 层做了三组等能量干预,每组 32 次重复,缓存 NMSE 固定为 10−3:
| 干预方式 | content 增益比 | RoPE 增益比 |
|---|---|---|
| 独立随机化符号 | 1.048 | 1.115 |
| 整 token 置换误差 | 5.918 | 1.495 |
| 各向同性方向 | 6.007 | 1.380 |
表中数值是相对于原始量化误差的几何平均增益比,1 表示不变。
三组结果的信息量很大:
第一,整 token 置换让 content 路径的增益涨了 5.918 倍,接近把误差方向换成完全各向同性的 6.007 倍。这说明原始 content 量化误差的能量分配被严重“压在”低敏感方向上;一旦把每个 token 的误差向量换到别的 token 位置,能量还在、方向结构被破坏,content 路径的真实敏感度就暴露出来了。RoPE 路径只涨了 1.495 倍,因为它本来就没有被压制得那么厉害。
第二,只随机化符号几乎没有影响(1.048 和 1.115)。符号随机化保持每个坐标上的误差幅度 ∣ei∣ 不变,只改变正负,因此主要影响交叉项 Ob;Ob 变化不大说明在测试的误差尺度上对角项占主导,跨坐标耦合是次要因素。这也解释了为什么只预测算子迹(Tb)不够——还需要误差分配 Ab。
第三,跨层的整 token 置换实验(每个验证点 16 次,每个模型 576 次干预)把 content 路径的中位增益提高了 2.853 倍(DeepSeek-V2-Lite)和 4.220 倍(GLM-4.7-Flash)。这不是单层的偶然。
用算子–误差模型做预测
有了 Tb、Ab 的估计,就能预测层间增益比。论文对正增益比取对数:
log(G^P/G^C)=log(TP/TC)+log(AP/AC)+γ,其中 γ=−0.07496 是在 DeepSeek-V2-Lite 阶段固定的修正项,在 GLM-4.7-Flash 上不重新拟合。两个对照组分别是“只用缓存误差预测 γ”和“只用算子迹预测 log(TP/TC)+γ”。
在每模型 36 个验证点上,完整模型的 Spearman 相关系数为 0.9923(DeepSeek-V2-Lite)和 0.9614(GLM-4.7-Flash),中位绝对对数误差为 0.1054 和 0.0727。对照组的平均绝对误差则高得多:只用缓存误差是 1.5657 / 0.8790,只用算子迹是 0.9129 / 1.4276,而算子加误差分配是 0.1133 / 0.1173。这个对比说明:光知道“哪条路径的算子更敏感”不够,必须知道量化误差实际落在哪个子空间。
局部增益分析用的是 10−3 的缓存 NMSE,前文的匹配误差实验用的是 10−2。后者可能包含非线性效应,所以两者不是同一个数量级的直接外推;论文把它们分别作为“机理验证”和“现象测量”。
两条路径同时量化时还有交叉项
上面的分析每次只扰动一条路径。实际部署时两条路径同时量化,一阶输出扰动是 JCeC+JPeP,其平方为
∥JCeC+JPeP∥22=∥JCeC∥22+∥JPeP∥22+2⟨JCeC,JPeP⟩.交叉项不一定为零,因此“分别优化两条路径”并不等于假设它们独立。QuantMLA 的做法是分别按各自的功能目标学习变换,然后在联合量化配置下整体评估;论文也明确说明路径隔离的学习不假设误差路径独立。
路径特定的可离线融合变换空间
分析给出了两个结论:content 路径要按“最终输出”来约束,RoPE 路径要按“位置 QK”来约束;同时,任何变换必须能完全融进已有参数,推理时不能多出在线矩阵乘。接下来要解决的是“能施加什么样的变换”。
量化前的等价变换是 PTQ 的常用手段:SmoothQuant 用通道缩放把激活离群值迁移到权重,QuaRot 用 Hadamard 旋转把离群值摊平,SpinQuant 进一步学习旋转。这些方法在常规 KV 缓存上有效,但 MLA 的缓存结构不同:content latent 同时供 Key 和 Value 使用,RoPE key 还要满足旋转位置编码的对易约束。直接把 QuaRot 的 Hadamard 搬过来,会在 RoPE 路径上留下一个无法离线融合的在线变换。
QuantMLA 的做法是为两条路径分别推导“既保持全精度计算、又能完全离线融合”的变换空间。
content 路径:正交旋转加逐通道缩放
先把 content latent 的来源写清楚。设
c=uΓ,u=RMSNorm1(x),其中 u 是无权重归一化后的坐标(只有除以均方根,没有可学习的 gain),Γ=Diag(γ) 是原本的 RMSNorm 通道缩放。用正交矩阵 RC 和正的对角缩放 SC=Diag(sC) 重新参数化缓存:
zC=uRCSC.对每一个消费这个 latent 的投影 W,定义补偿后的权重
W′=SC−1RC⊤ΓW,RC⊤RC=I.于是
zCW′=uRCSCSC−1RC⊤ΓW=uΓW=cW.全精度计算被精确保持。关键点是:这个变换不仅能融进消费侧,还能融进生产侧。因为无权重 RMSNorm 对正交变换是等变的,
RMSNorm1(xRC)=RMSNorm1(x)RC,所以产生 content latent 的投影可以改写成 Wa′=WaRC,归一化的 gain 直接替换成 SC,所有下游的 Key 和 Value 消费侧再各自乘上 SC−1RC⊤Γ。整套改动只发生在参数上,推理时缓存里存的就是 zC,没有任何逐 token 的旋转或缩放。
为什么选“正交旋转 + 正缩放”而不是任意可逆矩阵?任意满秩 M 在代数上也能做到 z=uM、W′=M−1ΓW 的等价,但这样的空间条件数不可控,量化友好性也无从保证。正交旋转保持范数、不放大舍入误差,逐通道正缩放负责调整动态范围;两者组合足以把离群值和通道间方差拉开,同时保持数值稳定。学习时 RC 用 Cayley 参数化保证正交性,SC 在对数空间优化保证为正。
这里和 QuaRot 的差别不在“是否旋转”,而在“旋转是不是学的、目标是不是输出”。QuaRot† 在 content 路径上也可以用固定的归一化 Hadamard 并离线融合;QuantMLA 的 content 变换是可学习的,并且优化目标是 attention 输出重建,不是单纯的缓存重建。
RoPE 路径:只能在对易的变换里选
RoPE 路径的约束强得多。RoPE 会对 query 和 key 成对地施加位置相关的平面旋转。一个融合在 RoPE 之前的变换 T,必须和这些位置旋转对易,否则“先变换再旋转”和“先旋转再变换”不等价,变换就无法折进 pre-RoPE 投影。
任意 dense 旋转会跨频率对混合坐标,而 RoPE 的旋转是按频率对(二维平面)定义的,跨对混合一般不对易。可行的最大结构是:在每个频率对内做平面旋转,并在对内使用同一个正缩放。
形式化地,令
RP=blockdiag(Ri),Ri∈SO(2),SP=blockdiag(siI2),si>0,其中每个块对应一个 RoPE 频率对。取互逆的 query/key 变换
QP′=QPRPSP−1,KP′=KPRPSP.命题 1(RoPE 兼容的等价变换):上述变换保持全精度的位置分数,即
QP′(KP′)⊤=QPKP⊤.证明只需三步。第一,在每个频率对内,Ri 和 RoPE 的位置旋转都是二维平面旋转,平面旋转可交换;标量矩阵 siI2 与任何二维旋转可交换。第二,块对角矩阵在同一配对布局下继承这些交换关系,因此 RP、SP 与 RoPE 旋转对易。第三,RP⊤RP=I、SP−1SP⊤=I,所以
QP′(KP′)⊤=QPRPSP−1SP⊤RP⊤KP⊤=QPKP⊤.因为对易,RP 和 SP 可以分别折进 RoPE 之前的 key 投影和 query 投影:
WK′=WKRPSP,WQ′=WQRPSP−1.推理时只缓存变换后的 KP′,query 侧用补偿后的 WQ′ 生成,位置旋转照常施加,位置分数与原来完全一致。整个过程没有跨频率的在线混合。
这个空间的设计有两个容易忽略的细节。第一,缩放必须在频率对内绑定为 siI2。如果一对里的两个坐标用不同缩放,缩放矩阵就不再与二维旋转对易,等价性被破坏。第二,RP 只能是频率对内的 SO(2) 旋转,不能是任意正交矩阵;跨对旋转看似更灵活,但无法与 RoPE 对易,也就无法离线融合。
对照 QuaRot† 就能看出工程价值。QuaRot† 在 RoPE 之后对 query 和 key 施加固定的归一化 Hadamard 矩阵。这个矩阵跨频率对混合,不能折进 pre-RoPE 投影,因此 query 侧的 Hadamard 必须在每次推理时在线执行;只有 key 侧变换后的结果被缓存和量化。QuantMLA 的 RoPE 变换因为满足对易约束,query 和 key 两侧都能离线融合,解码路径上不需要任何额外的矩阵乘。这是“结构约束换工程收益”的典型例子:可选的变换家族变小了,但换来的是零在线开销。

图 3 把整套流程画成四段。第一段是两条路径的可融合空间:content 用正交旋转 RC 加通道缩放 SC,RoPE 用频率对旋转 RP 加对内绑定缩放 SP,图中标注了 query 侧的互逆补偿 RPSP−1。第二段是函数对齐学习:content 路径对齐 attention 输出,RoPE 路径对齐 positional QK;学习时另一条路径保持精确,避免两条路径的误差在优化过程中互相干扰。第三段是离线融合:学到的旋转和缩放被折进产生侧与消费侧投影,图中标注“Projections + normalization”和“Full-precision equivalence”,也就是融合后全精度计算不变。第四段是混合精度执行:sink 和最近窗口用 BF16,其余历史用低比特内容与 RoPE 缓存,所有 token 共享一次全局 softmax。
函数对齐的学习目标
有了变换空间,下一个问题是:在这个空间里挑哪个具体变换?朴素做法是让量化前后的缓存张量尽量接近,也就是最小化 cache NMSE。但第 4 节已经说明,cache NMSE 不是功能失真的代理。QuantMLA 给每条路径配了一个与它的误差路径对齐的目标。
content 路径:重建 attention 输出
content 路径的误差同时经由匹配、聚合和交互三项到达输出,所以目标函数直接看输出:
LC=Ex,lmax{∥Yl(C,KP;x)∥F2,ϵC}Yl(QCR,S(C),KP;x)−Yl(C,KP;x)F2.逐项解释:
- Yl(C,KP;x) 是冻结的 BF16 教师模型在第 l 层、输入 x 上的 attention 输出,包含输出投影。
- QCR,S(C) 是在学到的坐标(旋转 RC、缩放 SC)下对 content 缓存做量化–反量化后的结果,消费侧用补偿后的权重;此时 RoPE 路径保持精确。
- 分母是教师输出的能量,取 ϵC 下限防止除零,因此这是一个归一化的相对失真。
- Ex,l 表示对校准序列和层求平均。
为什么是输出而不是 logits?因为 content 误差会污染 value。如果只重建分数 QˉC,hC⊤,那么 AhΔCBh 和 ΔAC,hΔCBh 两项完全不被约束。输出重建同时覆盖“权重变了”“value 变了”“两者一起变”三种情况,代价是目标函数里多了一次注意力计算,但校准是一次性离线过程,这个代价可以接受。
RoPE 路径:重建 positional QK,并有输出上界
RoPE 路径的结构更简单:C 不动、value 不动,量化只扰动位置分数 ZP,h=QP,hKP⊤。这个结构允许把输出误差用位置分数误差精确上界住。
命题 2(位置 QK 扰动的有限输出界):固定 content logits、query、value 表示和有效因果 key 集合,且每个 query 至少有一个有效 key。设位置分数扰动为 ΔZP,h,记 Vˉh=CBh 为该头经输出投影后的有效 value,Ω 为有效 query–key 对的二值掩码。则
∥ΔYP∥F2≤4τ2(h∑∥Vˉh∥22)(h∑∥Ω⊙ΔZP,h∥F2).这个界对所有有限的分数扰动成立,不需要一阶近似。证明的骨架如下。
softmax 的 Jacobian 是 D=Diag(a)−aa⊤,对任何概率向量 a 它都是对称半正定的,且第 i 行的绝对值之和为 2ai(1−ai)≤1/2,于是
∥D∥2≤∥D∥1∥D∥∞≤21.沿“原始分数向量 → 扰动分数向量”的线段积分 Jacobian(这是中值定理的矩阵形式),得到注意力变化的范数界
∥Ah−A^h∥F≤2τ∥Ω⊙(ZP,h−Z^P,h)∥F.单个头的输出扰动满足
∥Yh−Y^h∥F≤2τ∥Ω⊙ΔZP,h∥F∥Vˉh∥2.多个头共享同一份位置 key,层输出扰动是各头扰动之和。用三角不等式和 Cauchy–Schwarz 把求和拆成“分数误差项”和“value 能量项”的乘积,再平方,就得到命题 2 的形式。
这个界告诉我们的不只是“位置分数要准”,还告诉了一个权重结构:每个头的贡献按 ∥Ω⊙ΔZP,h∥F2 计,乘以该头的 value 能量 ∥Vˉh∥22。也就是说,应该优先保证 value 能量大的头的位置分数精度。不过论文的 RoPE 目标并没有引入逐头的权重,而是对所有头、所有有效因果对求和后再归一化:
LP=Ex,lmax{Ω⊙QP,lKP,l⊤F2,ϵP}Ω⊙(Q~P,lK^P,l⊤−QP,lKP,l⊤)F2,其中 Q~P 是补偿后的未量化 query,K^P 是变换后量化再重建的 key。
这个目标里有一个容易被忽略的设计点:用完整的 positional QK 矩阵做重建,而不是分别重建每个频率对的误差。不同频率对的分数会在相加时相互抵消(一个频率对偏大、另一个偏小,合起来可能刚好对),逐对重建会丢失这种抵消关系,导致对最终 logits 的约束变弱。保留整矩阵的叉频率抵消,正是这一项与“逐块量化误差最小化”的本质区别。
关于学习目标为何能控制输出,论文还给出了归一化后的推导:对固定样本,定义分数能量 DZ=max{∑h∥Ω⊙ZP,h∥F2,ϵP}、输出能量 DY,则
DY∥ΔYP∥F2≤4DYτ2DZ(h∑∥Vˉh∥22)ℓP,其中 ℓP 就是上面的样本级损失。对固定样本,前面这个乘子与学到的 RoPE 变换无关:因为等价补偿保持教师位置分数不变、value 不变。因此最小化平均的归一化 positional QK 重建,是在控制输出误差,而不是恰好等价于输出重建。它的严格程度比“精确重写”弱,但有理论可控性;而且由于补偿保持全精度分数不变,命题 2 对学习过程中的每个候选表示都逐点成立。
两者为什么要分开
论文还指出,attention 输出重建和 positional QK 重建对同一批分数误差的权重并不相同。单头的局部导数为
∂(ZP,h)qk∂Yh,q=τAh,qkVh,k−Oh,qWO,h,其中 Oh,q 是该 query 的未归一化加权 value,Ah,qk 是注意力概率。直观上,如果某个 key 的注意力权重很小,它在输出重建里的权重也小;但它的位置分数误差仍然会被 QK 重建惩罚。对于 RoPE 路径,“位置分数是它唯一的产物”,用 position QK 重建更直接、更可解释;如果硬用输出重建,敏感度会被 attention 权重稀释,误差可能在低权重位置上累积而不被纠正。
反过来,content 路径的误差有“跨位置”的聚合效应,输出重建才能把这些效应汇总起来。两条路径各自用对自己误差路径最忠实的目标,这就是“函数对齐”的含义。

图 4 在这里放是为了说明“位置误差”在真实任务上的后果。它是 DeepSeek-V2-Lite 在 C4R4 下对 RULER 单针检索任务(S-NIAH-1/2/3)的准确率,横轴是 4K 到 32K 的上下文长度,每个点 500 个样本。S-NIAH-1 和 S-NIAH-2 上 QuantMLA 与 BF16 几乎重合(平均 99.95% 和 99.60%),说明位置路径的量化没有破坏“按位置找到针”的基本能力。S-NIAH-3 的难度更高(多个干扰项、需要更精确的位置区分),QuantMLA 平均 87.20%,比最强的量化基线高 7.40 个百分点,在每个测试长度上都领先。检索任务正是 RoPE 路径敏感的典型场景:它要求模型准确区分不同位置的 key,位置分数的任何系统性偏差都会直接体现在找针成功率上。
校准、学习与离线融合
整个量化流程发生在部署之前:冻结模型权重,只用少量校准数据学习两条路径的变换,然后把变换折进参数,最后用原生低比特 kernel 执行。论文给出的校准规模很小:WikiText-2 训练集,序列长度 2048,batch size 4,每条路径 300 步,128 条训练序列加 32 条不相交的验证序列,三个随机种子。
量化器:逐 token、分组、非对称仿射
校准和推理使用同一套量化规则,保证离线模拟与在线执行一致。每个 token 独立量化,坐标按 64 个一组。对位宽 b,令 m=2b−1,组内极值为 xmin、xmax,则
s=mmax(xmax−xmin,10−8),z=clip(round(−xmin/s),0,m),q=clip(round(x/s+z),0,m),x^=s(q−z).s 是缩放因子,z 是零点,q 是整数码,x^ 是反量化结果。舍入采用 round-to-nearest、ties-to-even;常数组不做特殊处理。校准阶段对舍入使用直通估计器(STE),让梯度能穿过 round 操作回传到变换参数。
这个量化器有两处与 MLA 的存储布局相关。第一,分组大小 64 与 content 的 512 维、RoPE 的 64 维都能整齐对齐;第二,原生执行时 content 的 scale 存 BF16,RoPE 的 scale 存 FP32。RoPE 只有 64 维、对误差更敏感,用更高精度存元数据是低成本的保险。
变换参数化
学习时只优化变换参数,预训练权重全部冻结:
- content 旋转 RC 用 Cayley 参数化。Cayley 变换把反对称矩阵映射到正交矩阵,天然保证 RC⊤RC=I,不需要在优化中做正交化修正。
- RoPE 的每个频率对旋转用可训练的角度参数,直接构造 SO(2) 旋转。
- 两个缩放 SC、SP 在对数空间优化,保证为正。
缩放初始化不是全 1。设通道 j 的 99.9 百分位幅度为 aj,a~j=max(aj,10−8),初始化
logsj(0)=clip(α[meankloga~k−loga~j],−2,2),其中 α∈{0,0.125,0.25,0.5,0.75,1} 在留出集上搜索,α=0 表示初始化为全 1(缩放不起作用)。这个式子的含义是:把每个通道的幅度向全局平均幅度拉,幅度大的通道压小、幅度小的通道放大;α 控制拉平强度。RoPE 的统计量和缩放在一个频率对内绑定。
优化设置:AdamW,weight decay 0,10% warmup 加 cosine decay,梯度裁剪 1.0;content 旋转学习率 3×10−3,RoPE 角度和缩放学习率 1×10−3,content 缩放学习率 1×10−3;旋转/角度/缩放的 anchor 正则系数 10−4;每 20 步验证一次,包括第 0 步。每条路径独立选择留出集目标最低的 checkpoint,不用下游测试集挑模型。
流程与等价性检查
校准过程可以概括成下面的伪代码:
1for each layer l:2 capture BF16 inputs, attention outputs, positional queries/keys3 initialize content transform (R_C, S_C) and RoPE transform (R_P, S_P)4 # content path: RoPE stays exact5 for step in 1..300:6 quantize/dequantize C in learned coordinates7 compute attention with compensated consumers8 loss = normalized attention-output reconstruction9 update R_C, S_C (Cayley + log-scale)10 select best content checkpoint on held-out split11 # RoPE path: C stays exact12 for step in 1..300:13 quantize/dequantize transformed K_P14 compute positional QK with compensated unquantized Q_P15 loss = normalized positional-QK reconstruction16 update R_P, S_P17 select best RoPE checkpoint on held-out split18compose both transforms19fuse into producing and consuming projections20verify quantization-disabled equivalence21evaluate joint quantized model流程里有两个容易被跳过的检查,论文专门做了。
第一是融合等价性检查。先把量化关掉,比较原始模型和离线融合后的模型:逐层输出误差、端到端 NLL 漂移。这一步隔离的是“代数融合是否正确”,能抓出 RoPE 配对方式、变换顺序、子块选择、互逆补偿写错等问题。只有这一步通过,后面的量化误差才有意义。
第二是原生执行正确性检查。用同一个重建后的混合精度缓存,分别跑原生低比特 kernel 和 BF16 参考实现,比较输出和 log-sum-exp。论文报告所有测试配置在两次独立运行中逐位一致。这个检查验证的是 kernel 的缓存表示和执行语义,不是“与原模型一致”;它保证解包、反量化和分区调度的实现没有引入额外误差。
还有一个实现细节值得注意:校准阶段没有 BF16 保护区域,sink 和最近窗口的保护策略只在评估时启用。这样学习目标面对的是“全历史都被量化”的最坏情况,保护策略则是部署时的额外保险,不会让变换过拟合到保护区域。
原生低比特执行:把解包融进注意力
量化方案如果只停留在 PyTorch 的量化–反量化模拟,服务层的收益是零:缓存还是按 BF16 存,反量化还要额外的 kernel。QuantMLA 在 FlashMLA 的解码路径上实现了原生低比特后端,缓存直接以 INT4 打包存储,解包和反量化融进注意力计算,不物化完整的 per-head Key/Value,也不物化整段历史的 BF16 缓存。
混合精度保护策略
一个很实际的问题是:即使 content 和 RoPE 都用 INT4,开头几个 token 和最近一段 token 仍然值得用 BF16。原因和 attention sink 现象有关:序列开头的少数 token 往往会吸收大量注意力,最近窗口则决定当前生成的局部连贯性,它们的误差会被放大。论文的保护集合是
PL={0,…,min(4,L)−1}∪{max(0,L−128),…,L−1},也就是前 4 个 sink token 加最近 128 个 token,重叠部分只算一次。对 PL 内的 token,注意力读取量化前的 BF16 content 和 RoPE key;对其余 token,读取从打包缓存重建的值。
这个策略有三个严格的实现约束:
- 一个 token 只贡献一次。保护 token 同时保留 BF16 和打包副本,但注意力计算时只使用其中一种表示,不能重复计入。
- 全局 softmax。保护和量化区域共享同一个 softmax 归一化。如果分区计算,需要用在线合并公式把各区的局部最大值、指数和、未归一化加权和合并:
其中 mj、sj、oj 分别是第 j 个分区的局部最大值、指数和、未归一化输出和。独立归一化每个分区再拼接,会破坏全历史注意力的归一化,结果不等价。
- 离开窗口不重新量化。每个 token 在写入时就会生成打包副本;当非 sink token 滑出最近 128 窗口,注意力直接切换到已有的打包副本,不需要再做一次量化或数据搬运。这一点决定了 cache 的生命周期是“写入时定型”,而不是“滑出时转换”。
物理布局与容量账
以 dc=512、dr=64、页大小 64 token 计算。INT4 打包后,每页 content 加 RoPE 的码字是
64×2512+64=64×288=18432 字节,再加上 scale、zero point 等元数据,实测每页 20480 字节,折合每 token 每层 320 字节。BF16 的同一页是 64×1152=73728 字节。此外,每个请求每层还要为 132 个保护 token 分配 BF16 缓冲:
132×576×2=152064 字节,以及每个物理页 8 字节的反向页映射。于是每层持久缓存为
MC4R4(L)=⌈L/64⌉(20480+8)+152064,MBF16(L)=⌈L/64⌉×73728.两者的比值随 L 变化:4K 时 3.22 倍,128K 时 3.59 倍。长度越长,固定的 152 KB 保护缓冲越被摊薄,压缩比越接近纯 INT4 的理论值。这个账里包含了保护 token 的冗余打包副本,但不含模型权重、共享页表、分配器开销和临时工作区。

图 8 是缓存布局和读取路径。左侧是 cache 更新:新来的 content/RoPE 状态经过量化、打包、写入,同时保留 sink 与最近窗口的 BF16 值;每个 token 都有一份打包副本,保护 token 额外有一份 BF16。中间是持久缓存:所有 token 的打包 INT4 副本、BF16 保护缓冲、scale/zero point 元数据、页映射。右侧是注意力读取:query 先算 QK 分数,保护 token 用 BF16,其余 token 解包反量化;所有 token 进入一次全局 softmax,然后做 content latent 聚合。底部标注了两条关键规则:每个 token 只用一种表示,全历史共享一次 softmax;非 sink token 滑出窗口时直接读打包副本,不重新量化。
解码 kernel 的流水线
低比特注意力的性能难点不在算术量,而在“解包–反量化–喂给 Tensor Core”这条数据链。如果解包后的 BF16 tile 要等整页都准备好才能开始算,流水线会被同步点切碎。论文的 kernel 做了几处针对性安排:
- 打包数据和量化元数据与重建后的 BF16 tile 分开缓冲。这样预取可以在前一批 tile 还在使用时继续进行,不会被同一个共享内存区域的写后读依赖卡住。
- 元数据独立存放,避免与重建的 RoPE tile 发生共享内存别名(aliasing)。别名会让编译器或硬件保守地插入同步,推迟 RoPE QK 的计算;分开之后,RoPE QK 可以更早调度,而不改变累加顺序。
- 保护 token 的 BF16 content 加载与未保护行的 INT4 重建重叠执行,消费前再同步。保护的 132 个 token 数量固定,正好可以当作流水线里的“长延迟但可预测”的一批加载。
- 重建后的 content tile 同时服务 QK 匹配和 latent 聚合,两个消费者都完成后才允许覆盖。这样一次解包被用两次,避免为了聚合再解一遍。
- 打包缓冲在重建完成后立即复用;重建的 content tile 则要活到 QK 和 PV 都结束。
这些优化听起来琐碎,但它们决定了“低比特”能不能真的省时间。很多量化 kernel 在算术上更快,却在解包和同步上把收益吃回去;QuantMLA 的报告显示,在 64K 以上上下文,原生低比特注意力的延迟与 BF16 的差异在 0.5% 以内。
具体数据(单卡,16 个 query 头,1 个 query token,QK 维度 576,聚合维度 512,64-token 页,78 个调度分区;每配置 120 个样本):
| batch | 上下文 | BF16 延迟 (µs) | C4R4 延迟 (µs) | 相对差 |
|---|---|---|---|---|
| 8 | 1K | 25.69 | 23.78 | -7.42% |
| 8 | 4K | 51.43 | 53.63 | +4.29% |
| 8 | 8K | 82.50 | 85.35 | +3.45% |
| 8 | 32K | 281.44 | 281.99 | +0.20% |
| 8 | 64K | 542.14 | 540.61 | -0.28% |
| 8 | 128K | 1067.24 | 1062.32 | -0.46% |
| 8 | 1M | 8440.05 | 8418.63 | -0.25% |
| 32 | 1K | 55.50 | 56.97 | +2.64% |
| 32 | 128K | 4236.96 | 4225.35 | -0.27% |
| 32 | 1M | 33701.48 | 33609.17 | -0.27% |
短上下文(1K 到 16K)时,C4R4 略慢,因为固定开销(保护缓冲、元数据、解包启动)还没有被长历史摊薄;32K 之后基本持平,64K 以上略快。这说明该方案的目标场景是长上下文、大 batch 的缓存压力,而不是“任何长度都快 2 倍”。它省下的是容量,容量再转化成吞吐;单次注意力 kernel 并不是主要收益来源。
精度:联合 INT4 到底掉了多少
评估分两套基准,分别覆盖通用能力与推理/代码能力。通用套件包括五个常识基准(HellaSwag、PIQA、ARC-Easy、ARC-Challenge、WinoGrande)、MMLU、GSM8K,以及三个信息抽取任务(FDA、SWDE、SQuAD 补全),跑在 DeepSeek-V2-Lite 和 Moonlight-16B-A3B 上。推理与代码套件包括 GPQA-Diamond、MMLU、GSM8K、MATH500、AIME25、HumanEval、LiveCodeBench,跑在 LongCat-Flash-Lite 和 GLM-4.7-Flash 上。CxRy 表示低比特历史的 content 用 x 位、RoPE key 用 y 位;C4R4 为主设置,C2R4 把 content 进一步压到 INT2。
与基线怎么比
截至论文写作时,没有公开工作报告过 MLA content 与 RoPE 缓存的联合 INT4,因此没有同精度的直接对标方法。论文选了三类基线:直接的 round-to-nearest(RTN),以及两个把 SmoothQuant 和 QuaRot 适配到 MLA 原生缓存表示上的版本(标为 †)。两种适配都采用与 QuantMLA 相同的逐 token 非对称仿射量化器(group 64),并且只做缓存量化–反量化模拟。
这两个适配值得单独说,因为它们的“公平性”直接影响结论。
SmoothQuant† 保留通道缩放的思想:content 用 uSC 缓存、下游消费侧补偿;RoPE 则让每个频率对共享一个正缩放,query/key 互逆补偿 KP′=KPSP、QP′=QPSP−1,保持位置分数。缩放由统计量决定,不做梯度优化,α 在留出集上选。
QuaRot† 保留固定 Hadamard 旋转:content 在无权重归一化坐标上乘归一化 Hadamard,并利用 RMSNorm 的正交等变性离线融合。RoPE 的 INT4 配置里,Hadamard 施加在 RoPE 之后,QP′=QPHP、KP′=KPHP,只有 key 侧被缓存,query 侧 Hadamard 在线执行。
这里能看出 QuantMLA 与两个基线的结构差别:QuaRot† 的 RoPE 旋转不可离线融合,多了一次在线矩阵乘;SmoothQuant† 的 RoPE 缩放是可融合的,但只有缩放、没有旋转,而且没有函数对齐的学习目标。QuantMLA 同时具备“可离线融合”和“按功能目标学习”两点。
通用与信息抽取
| 模型 | 设置 | CS | MMLU | GSM8K | FDA | SWDE | SQuAD | 平均 |
|---|---|---|---|---|---|---|---|---|
| DeepSeek-V2-Lite | BF16 | 69.76 | 57.90 | 36.92 | 78.13 | 89.20 | 57.10 | 66.80 |
| DeepSeek-V2-Lite | C4R4 RTN | 67.17 | 51.90 | 16.98 | 65.06 | 84.88 | 55.50 | 61.02 |
| DeepSeek-V2-Lite | C4R4 SmoothQuant† | 68.23 | 54.02 | 24.56 | 70.69 | 87.85 | 56.07 | 63.44 |
| DeepSeek-V2-Lite | C4R4 QuaRot† | 69.01 | 55.66 | 30.71 | 72.14 | 88.12 | 55.06 | 64.67 |
| DeepSeek-V2-Lite | C4R4 QuantMLA | 69.92 | 57.95 | 35.25 | 77.77 | 88.12 | 56.70 | 66.54 |
| DeepSeek-V2-Lite | C2R4 QuantMLA | 69.85 | 57.29 | 37.91 | 60.44 | 84.52 | 54.79 | 64.42 |
| Moonlight-16B-A3B | BF16 | 74.32 | 69.97 | 74.53 | 78.40 | 90.10 | 51.07 | 73.57 |
| Moonlight-16B-A3B | C4R4 RTN | 73.94 | 67.99 | 69.60 | 75.59 | 90.64 | 51.11 | 72.46 |
| Moonlight-16B-A3B | C4R4 QuaRot† | 74.11 | 67.73 | 71.87 | 74.41 | 90.28 | 50.20 | 72.50 |
| Moonlight-16B-A3B | C4R4 QuantMLA | 74.24 | 69.71 | 74.53 | 78.77 | 89.65 | 50.54 | 73.44 |
| Moonlight-16B-A3B | C2R4 QuaRot† | 62.72 | 56.16 | 27.37 | 25.50 | 72.73 | 35.36 | 53.07 |
| Moonlight-16B-A3B | C2R4 QuantMLA | 74.22 | 69.29 | 75.21 | 72.50 | 88.21 | 50.64 | 72.70 |
C4R4 下,QuantMLA 在两个模型上分别比 BF16 低 0.26 和 0.13 个百分点,基本在测量误差范围内。对比同精度基线,差距体现在个别任务上:DeepSeek-V2-Lite 的 GSM8K,QuantMLA 为 35.25%,RTN 只有 16.98%,SmoothQuant† 24.56%,QuaRot† 30.71%。GSM8K 对位置敏感,是 RoPE 路径量化出问题时的典型症状——题目里的数字、步骤之间的位置关系一旦错位,推理链就断了。Moonlight 上 QuantMLA 的 GSM8K 与 BF16 完全相同(74.53%)。C2R4 时 QuantMLA 仍保留 64.42% 和 72.70% 的平均分,比同精度最强基线分别高 7.20 和 10.84 个百分点;这个设置下信息抽取任务的下降更明显(FDA 60.44%),说明把 content 压到 INT2 时,value 的细节损失开始成为短板。
推理与代码
| 模型 | 设置 | GPQA-D | MMLU | GSM8K | MATH500 | AIME25 | HumanEval | LiveCodeBench | 平均 |
|---|---|---|---|---|---|---|---|---|---|
| LongCat-Flash-Lite | BF16 | 46.46 | 80.77 | 71.72 | 57.40 | 70.00 | 73.78 | 49.67 | 64.26 |
| LongCat-Flash-Lite | C4R4 RTN | 42.42 | 76.38 | 68.01 | 48.00 | 40.00 | 39.02 | 32.70 | 49.50 |
| LongCat-Flash-Lite | C4R4 SmoothQuant† | 42.42 | 78.49 | 69.75 | 53.20 | 53.33 | 60.37 | 42.75 | 57.19 |
| LongCat-Flash-Lite | C4R4 QuaRot† | 39.90 | 78.52 | 64.67 | 54.40 | 56.67 | 56.71 | 42.65 | 56.22 |
| LongCat-Flash-Lite | C4R4 QuantMLA | 44.95 | 80.51 | 69.75 | 54.80 | 63.33 | 71.34 | 49.38 | 62.01 |
| LongCat-Flash-Lite | C2R4 QuantMLA | 44.95 | 80.57 | 68.84 | 56.80 | 60.00 | 71.34 | 49.00 | 61.64 |
| GLM-4.7-Flash | BF16 | 42.93 | 72.09 | 83.85 | 56.40 | 63.33 | 36.59 | 32.04 | 55.32 |
| GLM-4.7-Flash | C4R4 RTN | 37.88 | 70.79 | 81.27 | 51.20 | 56.67 | 29.88 | 29.67 | 51.05 |
| GLM-4.7-Flash | C4R4 QuantMLA | 38.89 | 71.95 | 83.70 | 57.40 | 56.67 | 34.76 | 32.89 | 53.75 |
| GLM-4.7-Flash | C2R4 QuaRot† | 28.79 | 53.64 | 51.10 | 34.20 | 26.67 | 6.10 | 18.10 | 31.23 |
| GLM-4.7-Flash | C2R4 QuantMLA | 39.39 | 71.50 | 82.94 | 55.00 | 46.67 | 34.15 | 30.33 | 51.43 |
C4R4 下 QuantMLA 在 LongCat-Flash-Lite 和 GLM-4.7-Flash 上的平均分为 62.01% 和 53.75%,比同精度最强基线高 4.82 和 2.70 个百分点;LiveCodeBench 在 LongCat 上只低 0.29 个百分点,GSM8K 在 GLM 上只低 0.15 个百分点。C2R4 下 LongCat 仍保留 HumanEval 71.34% 和 LiveCodeBench 49.00%,与 BF16 几乎持平;GLM 的平均分为 51.43%,但在 AIME25 这类高难度、长推理链任务上从 63.33% 掉到 46.67%,任务间波动明显。这与前文的机理一致:INT2 content 压缩对 value 细节的破坏在需要多步精确推理的任务上最先暴露。
QuaRot† 在 C2R4 下崩塌(GLM 平均 31.23%,HumanEval 6.10%),说明固定旋转加激进 content 压缩的组合在 MLA 结构上不稳定;QuantMLA 的可学习变换加输出重建目标在这个极端设置下仍能维持可用精度。
消融:每个组件各自贡献多少
在 DeepSeek-V2-Lite 的完整 MMLU 测试集上,从 RTN 出发逐项叠加:
| 配置 | MMLU (%) | 增量 |
|---|---|---|
| BF16 | 57.90 | — |
| RTN(未保护 C4R4) | 51.90 | — |
| 加 content 变换 | 53.12 | +1.22 |
| 加 RoPE 变换 | 56.31 | +3.19 |
| 加混合精度 cache 策略 | 57.95 | +1.64 |
这张表的信息量集中在两点。第一,RoPE 变换的增量(3.19)大于 content 变换(1.22),与“RoPE 路径更敏感”的现象一致:同样是从 RTN 出发,先把更敏感的那条路径修好,收益更大。第二,两项变换叠加后的未保护配置(56.31%)就已经超过 SmoothQuant†(54.02%)和 QuaRot†(55.66%),说明函数对齐的变换本身就有效,不依赖 BF16 保护;混合精度策略再贡献 1.64,把结果推到与 BF16 持平。
论文明确说明这些增量是沿表列顺序的累积效果,不能当作与顺序无关的独立贡献。
服务层收益:容量如何变成吞吐
单次注意力延迟持平,并不等于服务没有收益。长上下文服务里,KV 缓存容量决定了调度器能同时驻留多少 token;容量不够时,vLLM 会抢占请求、把已算好的 KV 换出,之后重新 prefill。重算的 token 数是按整段前缀计的,一次小的容量溢出可能放大成几百万 token 的重复计算。
论文的压力测试是:DeepSeek-R1-0528,8 张 GPU,attention 用 TP8/DP1,MoE 用 TP8,FP8 权重、BF16 激活;vLLM 0.10.2,PyTorch 2.8.0,GPU 显存利用率设 90%,64-token 页,关闭前缀缓存,最多 16 条并发序列;chunked prefill 以 8192 token 为步长、eager 执行,解码用 CUDA Graph 覆盖 batch 1 到 16。五个请求同时到达,每个 131072 输入 token、生成 1024 输出 token,temperature 0,忽略 EOS。
BF16 缓存下可用槽位是 657,856 个 token,而五个请求的输入加输出预算是 5×(131072+1024)=660,480,超出 2,624 个槽位。就是这 0.4% 的溢出触发了 32 次抢占,重算了 3,996,255 个 token;整任务耗时 1958.392 秒,输出吞吐 2.614 token/s。
C4R4 缓存下可用槽位变成 2,360,832,是 BF16 的 3.59 倍;同样五个请求没有发生任何抢占,耗时 378.929 秒,吞吐 13.512 token/s。相对 BF16 是 5.168 倍。

图 5 有三块。(a) 是 1K 到 128K 的持久 KV 缓存占用,包含 BF16 缓冲、元数据和页映射:4K 时是 BF16 的 2.46 倍压缩,128K 时 3.59 倍;曲线随长度上升,因为固定的 132-token 保护缓冲被摊薄。(b) 是 batch 8 和 32、1K 到 1M 的注意力延迟相对 BF16 的比值,绝大多数点在 1.0 附近,短上下文略高于 1,长上下文略低于 1。(c) 是压力测试的整任务吞吐:BF16 2.61 token/s、32 次抢占,C4R4 13.51 token/s、0 次抢占,两者使用同一套 vLLM 原生调度策略。
这里必须把收益归因说清楚:5.168 倍不是注意力 kernel 快了 5 倍,而是避免了容量驱动的抢占和重算。论文自己也强调,这个数字只适用于所评估的缓存压力负载;如果请求短、并发低、或者前缀缓存命中率高,容量不再是约束,收益会小得多。表 9 的延迟数据也说明,单次注意力在长上下文只是略快于 BF16。
这个结果对部署的启示是:低比特 KV 缓存的价值要按“容量–调度–吞吐”的链路来评估,而不是只看单 kernel 延迟。一个量化方案如果在 4K 上下文下让注意力慢 4%,但在 128K 缓存压力下把抢占从 32 次降到 0,服务层的收益仍然是数量级的。反过来,如果只看 kernel benchmark,可能会错过真正的价值;如果只看容量压缩比,又会忽略精度和调度行为。
与已有工作的位置
MLA 缓存量化处在这几条线的交叉点上,理解它和已有方法的关系,有助于判断哪些结论可以迁移、哪些不能。
变换类量化:SmoothQuant 用通道缩放把激活离群值迁移到权重;QuaRot 用随机/归一化 Hadamard 旋转把离群值摊平,实现 W4A4KV4;SpinQuant 把旋转变成可学习的;FlatQuant、OSTQuant、FPTQuant 进一步扩展变换家族。RotateKV 把旋转用到 KV 缓存上,OScaR、OSCAR 针对 2-bit 缓存做旋转与协方差设计。这些方法的共同点是“用等价变换改善量化几何”,但大多针对显式的 per-head Key/Value 表示。MLA 的缓存是共享 content latent 加解耦 RoPE key,变换必须同时满足“content 同时供 K 和 V”“RoPE 变换要与位置旋转对易”两个结构约束,不能直接套用。站内对 QuaRot、SmoothQuant、SpinQuant 和 Hadamard 变换量化 有完整拆解。
低比特 KV 缓存:KIVI 用 per-channel Key、per-token Value 的非对称 2-bit 量化;KVQuant 用 pre-RoPE 逐通道量化、非均匀码本和离群值隔离;PolarQuant、TurboQuant 用极坐标或在线向量量化降低失真;SKVQ 用滑窗保护关键 token。这些方法处理的是“Key 和 Value 分开存”的常规缓存,量化轴的选择(按通道还是按 token)是核心设计问题。KIVI 和 KVQuant 两篇拆解了这些轴选择的统计依据。MLA 把 K/V 的共享部分压成了一个 latent,轴选择的自由度变小,但多了一条独立的 RoPE 路径,问题从“K 和 V 分别怎么量化”变成“两条功能不同的路径怎么各自量化”。
MLA 专用方案:FlashMLA 的 DeepSeek-V3.2 布局是 FP8 content 加 BF16 RoPE;SnapMLA 做 content 量化与执行协同,但保留高精度 RoPE。它们代表“只压大路径、保住小路径”的工程共识。QuantMLA 用误差分析挑战了这个共识:RoPE 路径虽然小,但每单位误差更敏感;只要用对变换和目标,它也能压到 INT4。
QuantMLA 与这些工作的本质区别在于优化对象。已有方法优化的是“缓存重建误差”或“量化后的分布形状”;QuantMLA 优化的是“该路径对最终输出的功能贡献”。content 路径优化 attention 输出,RoPE 路径优化 positional QK;变换空间由路径结构推导,目标函数由误差路径决定。这个“结构决定空间、功能决定目标”的对应关系,是它能把两条路径同时压到 INT4 的方法论基础。
在更长的技术线上,MLA 的缓存压缩还有几条并行路线:DeepSeek-V4 系列用混合稀疏注意力与跨层复用把 KV 规模继续往下压,可参考 DeepSeek-V4 混合注意力 和 V4.1-Flash 的 KV Cache;FP4 缓存、KV 卸载、前缀缓存淘汰分别从数值精度、存储层级和复用策略解决问题。QuantMLA 属于“数值精度”这条线,和结构压缩、存储卸载是正交的,可以叠加使用。
局限与还没解决的问题
论文的结论有明确的适用边界,部署前需要逐条核对。
- 精度评估覆盖有限。四个模型家族、两套基准,不能覆盖所有 MLA 变体和所有任务。C2R4 在 GLM-4.7-Flash 的 AIME25 上从 63.33% 掉到 46.67%,说明极端压缩下的任务间波动仍然很大;论文没有给出“哪些任务一定安全”的判据,只给出了整体趋势。
- 服务收益依赖负载形状。5.168 倍来自特定的“五条 128K 输入、1K 输出、缓存刚好溢出”场景。短请求、低并发、高前缀命中率下,容量不是瓶颈,收益会显著缩小。论文也只报告了一次 C4R4 运行与历史 BF16 基线的对比,没有给出跨独立运行的置信区间。
- 校准有成本。每条路径 300 步、每层独立优化,虽然只用了 128 条序列,但对 61 层的模型仍是一次不小的离线计算。变换是按层学的,换模型、换精度配置都要重新校准;论文没有讨论跨层共享变换或更低成本的近似。
- 原生执行验证的范围。正确性检查覆盖了缓存表示、动态更新和 token 老化,但论文明确说共享前缀的所有权(shared-prefix ownership)不在验证范围内。真实服务里前缀缓存会带来跨请求的页共享,低比特缓存的生命周期和引用计数需要额外处理。
- 低比特改变模型行为的风险。论文的伦理声明指出,即使聚合基准分数保持,低比特缓存也可能改变模型的安全行为、校准性和失败模式;部署时应该在具体的模型、精度和服务配置下重新评估,而不能只看平均分。
- 代码尚未发布。论文写明代码将在接收后公开,目前只能依据论文的描述复现;原生 kernel 的共享内存布局、页映射和 writer 生命周期等细节,仍需要官方实现来确认。
小结
QuantMLA 的起点是一个被工程惯例掩盖的问题:MLA 的 RoPE key cache 只有 64 维,看起来“不值得压”,所以现有方案普遍把它留在 BF16。论文用匹配误差实验证明,缓存大小和功能影响不是一回事:在相同的缓存 NMSE 下,RoPE 路径造成的输出失真比 content 路径高 1.94 到 6.86 倍,六个模型、285 层没有反例。
机理层面,论文把误差路径拆成精确的有限形式:content 误差经过匹配、聚合和交互三项,RoPE 误差只经过位置匹配一项;再用 Jacobian 的瑞利商把局部放大分解成算子敏感度、误差能量分配和方向耦合。等能量干预实验说明,content 路径的误差被“压在”低敏感方向,RoPE 路径没有这层缓冲;只用缓存误差或只用算子迹都预测不了层间差异,必须把误差分配算进去。
方法层面,两条路径各自推导出可离线融合的变换空间:content 用正交旋转加逐通道缩放,利用 RMSNorm 的旋转等变性折进产生侧和消费侧;RoPE 用频率对内的平面旋转加对内绑定缩放,利用与位置旋转的对易性折进 pre-RoPE 投影。目标函数与误差路径对齐:content 重建 attention 输出,RoPE 重建 positional QK,后者还有有限输出上界。所有变换离线融合,推理时零在线开销。
系统层面,原生低比特 kernel 把解包和反量化融进注意力,用 sink4 加 recent128 的 BF16 保护、每 token 单一表示和全局 softmax 保证语义等价;128K 下缓存压缩 3.59 倍,缓存压力场景整任务吞吐提升 5.168 倍。
对做推理系统的人来说,最值得带走的不是某个具体数字,而是两条方法论。第一,量化方案的设计单位应该是“功能路径”,不是“缓存张量”:同一个缓存里,不同路径的误差传播方式不同,目标函数也应该不同。第二,等价变换的价值不只在“改善分布”,还在“能否离线融合”:一个数学上更强的变换,如果必须在每次解码时在线执行,工程上可能不如一个约束更强但能折进参数的小变换家族。QuantMLA 把这两点同时落到了 MLA 这个具体结构上,也给出了一个可以迁移到其他非对称缓存架构的分析模板。
参考资料
- QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching
- DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
- DeepSeek-V3 Technical Report
- KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
- KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
- QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs
- SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
- SpinQuant: LLM Quantization with Learned Rotations
- FlashMLA: Efficient Multi-Head Latent Attention Kernels
- SnapMLA: Efficient Long-Context MLA Decoding via Hardware-Aware FP8 Quantized Pipelining
- Moonlight: Scaling Muon with Distributed Muon for LLM Training
- LongCat-Flash Technical Report
- Efficient Memory Management for Large Language Model Serving with PagedAttention
- RULER: What’s the Real Context Size of Your Long-Context Language Models?
- RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations
- FlatQuant: Flatness Matters for LLM Quantization
- OScaR: The Occam’s Razor for Extreme KV Cache Quantization in LLMs and Beyond
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



