QuantMLA 完全拆解:双路径误差归因与 INT4 MLA KV 缓存量化

15692 字
78 分钟
QuantMLA 完全拆解:双路径误差归因与 INT4 MLA KV 缓存量化

背景:MLA 已经把缓存压得很小,为什么还要再压

Multi-Head Latent Attention(MLA)是 DeepSeek-V2 引入、DeepSeek-V3 延续的注意力结构。它和常规 Multi-Head Attention(MHA)最大的差别,是不把每个头的 Key 和 Value 完整缓存下来,而是只缓存一个低秩的 content latent,再加一份解耦的 RoPE key。以 DeepSeek-V3 的配置为例,每个 token、每一层只需要存 512 维的 content latent 和 64 维的 RoPE key,合计 576 个元素;换成 BF16 是 1152 字节。相比同样头数的 MHA,这个数字已经小了一个数量级。MLA 的完整推导、矩阵吸收与 FlashMLA 的实现细节,可参考 MLA 完全拆解。

但“小”是相对的。1152 字节乘以 131072 个 token,再乘以 61 层,单条 128K 上下文的请求就要占 9.2 GB 左右的 KV 缓存。推理服务不会只跑一条请求,批处理、长上下文、多轮对话叠加之后,缓存容量会重新变成瓶颈。KV cache 的容量决定了同时能驻留多少 token,而驻留 token 数又直接决定调度器是否需要抢占、是否要重算 prefill。对 MLA 来说,低比特量化因此依然有价值:把 16-bit 降到 4-bit,理论上就是 4 倍的驻留能力。

问题是,MLA 的缓存不是一块均质的张量,而是两条功能完全不同的路径。

现有做法为什么只压了一半

目前 MLA 的低比特实践基本遵循同一个分工:content cache 压到 FP8,RoPE key cache 继续保留 BF16 或 FP16。FlashMLA 为 DeepSeek-V3.2 提供的布局就是 FP8 content 加 BF16 RoPE;SnapMLA 把 content 量化和注意力执行做了协同设计,但同样保留高精度 RoPE key。这个做法在工程上很自然:content latent 维度大、占内存多,压它能立刻省空间;RoPE key 只有 64 维,看起来“没多少油水”。

于是出现了一个没有被系统回答的问题:RoPE key cache 到底能不能压到 4-bit?如果能,content 和 RoPE 同时压到 INT4 时精度会怎样?两条路径的量化误差对最终 attention 输出的影响是否一样?

QuantMLA 这篇工作(arXiv 2609.36760,2026 年 9 月公开,香港大学与美团 LongCat 团队合作)给出的答案是否定的:两条路径的误差影响并不一样,而且在相同的缓存重建误差下,RoPE 路径造成的输出失真始终更大。更小的缓存不等于更小的影响。文章的核心贡献可以概括成三件事:

  • 建立 MLA 双路径量化误差的分析模型,用 285 个注意力层、6 个模型(16B 到 1T 参数)验证 RoPE 路径的误差放大现象,并给出“算子敏感度 + 误差能量分配 + 方向耦合”的机理解释。
  • 在这个分析指导下,为两条路径分别推导可离线融合的等价变换空间,并用与各自功能对齐的目标函数学习变换:content 路径重建 attention 输出,RoPE 路径重建 positional QK logits。
  • 实现原生低比特 MLA 解码 kernel,把解包与反量化融进注意力计算,并在 vLLM 服务栈上验证容量收益。

最终结果是在四个 MLA 模型家族上首次实现 content 与 RoPE 缓存的联合 INT4(记作 C4R4),精度接近 BF16;把 content 进一步压到 INT2、RoPE 保持 INT4(C2R4),在推理与代码任务上仍保持竞争力。128K 上下文下物理缓存压缩 3.59 倍,在缓存压力场景下整任务输出吞吐相对 BF16 提升 5.168 倍。

这篇文章按“现象—机理—方法—系统—数据”的顺序拆解这项工作。先把 MLA 双路径的计算写成可分析的形式,再解释为什么相同的缓存误差会带来不同的输出误差,然后逐条推导两条路径的变换空间与学习目标,最后看 kernel 和服务层的实际表现。

把 MLA 的双路径写成可分析的形式

分析量化误差,第一步是把“缓存里的什么量、经过哪些运算、最终走到哪里”写清楚。QuantMLA 沿用 MLA 的矩阵吸收写法,用行向量表示激活。

设第 ℓ\ell 层缓存的 content latent 为 C∈Rn×dcC \in \mathbb{R}^{n \times d_c},解耦 RoPE key 为 KP∈Rn×drK_P \in \mathbb{R}^{n \times d_r},其中 nn 是已缓存的 token 数,dcd_c 是 content 维度,drd_r 是 RoPE key 维度。对第 hh 个注意力头,定义吸收后的 content query

QˉC,h=QC,hWK,h⊤,\bar{Q}_{C,h} = Q_{C,h} W_{K,h}^{\top},

以及 value 到输出的映射

Bh=WV,hWO,h.B_h = W_{V,h} W_{O,h}.

这里的 QC,hQ_{C,h} 是当前 token 的 content query 分量,WK,hW_{K,h} 是把 content latent 映射成该头 Key 的上投影,WV,hW_{V,h} 是映射成 Value 的上投影,WO,hW_{O,h} 是该头的输出投影。矩阵吸收的意思是:推理时不需要真的把 CC 还原成每个头的 Kh=CWK,h⊤K_h = C W_{K,h}^{\top} 和 Vh=CWV,h⊤V_h = C W_{V,h}^{\top},而是把 WK,h⊤W_{K,h}^{\top} 乘进 query、把 WV,hWO,hW_{V,h} W_{O,h} 合成一个矩阵,直接和 latent 作用。

在这个写法下,第 hh 个头的注意力分数与输出是

Sh=τ(QˉC,hC⊤+QP,hKP⊤)+Mattn,S_h = \tau \left( \bar{Q}_{C,h} C^{\top} + Q_{P,h} K_P^{\top} \right) + M_{\text{attn}},Ah=softmax⁡(Sh),Y=∑hAhCBh.A_h = \operatorname{softmax}(S_h), \qquad Y = \sum_h A_h C B_h.

其中 QP,hQ_{P,h} 是经过 RoPE 旋转的 query 分量,τ\tau 是模型相关的注意力缩放系数,MattnM_{\text{attn}} 是加性因果掩码(有效位置为 0,无效位置为 −∞-\infty)。Ah∈Rm×nA_h \in \mathbb{R}^{m \times n} 是当前 mm 个 query token 对 nn 个缓存 token 的注意力概率,YY 是本层 attention 的输出(已过输出投影)。

这两个公式把缓存的角色分得很清楚:

  • content 路径:CC 同时参与匹配(QˉC,hC⊤\bar{Q}_{C,h} C^{\top})和聚合(AhCBhA_h C B_h)。它既决定“看谁”,又决定“看到的内容是什么”。
  • RoPE 路径:KPK_P 只参与位置匹配(QP,hKP⊤Q_{P,h} K_P^{\top})。它只影响注意力分数,不影响被聚合的 value。

从存储角度看,每个 token、每一层只存 {C,KP}\{C, K_P\},共 dc+drd_c + d_r 个元素。以 dc=512d_c = 512、dr=64d_r = 64 计算,就是 576 个元素。这个数字是后面所有容量账的基础:INT4 打包后每元素半个字节,加上 scale、zero point 等元数据,论文实测每 token 每层 320 字节;BF16 则是 1152 字节。

从误差分析角度看,两个公式还揭示了一个不对称:content 路径的误差会同时进入 softmax 的输入和被 softmax 加权的 value,RoPE 路径的误差只进入 softmax 的输入。这个差别在下一节会变成精确的误差路径分解,也是理解“为什么 RoPE 更敏感”的起点。

QuantMLA 总览:RoPE 路径误差放大、函数对齐学习与系统收益

图 1 是论文的总览。左上角是核心现象:在匹配的缓存重建误差下,六个模型的 RoPE 路径响应都高于 content 路径,比值从 1.94 倍到 6.86 倍。右上角是 C4R4 在四个模型上的平均分与 BF16、SmoothQuant†、QuaRot† 的对比。下半部分给出方法的三段式:先构造两条路径各自的可离线融合变换空间,再用路径特定的函数目标学习变换,最后把变换完全融进原模型参数,推理时不做任何在线变换。右下角是系统结果:128K 下 3.59 倍缓存压缩,缓存压力场景 5.168 倍整任务吞吐。

现象:相同的缓存误差,不同的输出失真

如果只看“缓存重建误差”,也就是量化前后缓存张量的归一化均方误差(NMSE),两条路径似乎可以直接比较:谁的重建误差小,谁的量化就更安全。QuantMLA 的第一个实验就是对这个直觉做控制变量检验。

匹配误差协议

实验设计很克制:每次只扰动一条路径的缓存,另一条路径和模型参数保持全精度。扰动方向不是随便取的高斯噪声,而是由 INT4 仿射量化实际产生的误差方向,然后把这个误差向量整体缩放到统一的缓存 NMSE =0.01= 0.01。缩放只改变误差的幅度,不改变方向,因此比较的是“同样大小的误差能量、不同的误差方向”会带来什么后果。

对每条路径,定义响应

Rb=NMSEout,bNMSEcache,b,b∈{C,P},R_b = \frac{\mathrm{NMSE}_{\text{out},b}}{\mathrm{NMSE}_{\text{cache},b}}, \qquad b \in \{C, P\},

其中 NMSEout,b\mathrm{NMSE}_{\text{out},b} 是只扰动路径 bb 时、经过输出投影后的 attention 输出失真,NMSEcache,b\mathrm{NMSE}_{\text{cache},b} 是缓存本身的失真。RbR_b 的含义是“每单位缓存重建误差换来多少输出误差”,量纲上把缓存空间的大小归一掉了。

实验覆盖六个模型、四个 MLA 家族:DeepSeek-V2-Lite、DeepSeek-V3-Base、DeepSeek-R1、Kimi-K2-Instruct、LongCat-Flash-Lite、GLM-4.7-Flash,总参数量从 16B 到 1T,共 285 个注意力层。输入来自 WikiText 和 C4,各三个固定随机种子,每个单元格取 8 条互不重叠的 512-token 序列。逐层计算响应,再聚合到模型级。

结果:RoPE 路径一致更“贵”

模型级聚合结果如下表所示。表中数值是响应 RbR_b,最后一列是 RoPE 响应与 content 响应的比值。

模型content 响应RoPE 响应RoPE/content
DeepSeek-V2-Lite0.6203.9256.331
DeepSeek-V3-Base0.4521.7513.871
DeepSeek-R10.4941.7843.611
Kimi-K2-Instruct1.5943.0951.941
LongCat-Flash-Lite0.5944.0776.864
GLM-4.7-Flash1.0262.4622.400

六个模型的比值落在 1.941 到 6.864 之间,没有一个模型出现 content 更敏感的反例。需要注意,模型级比值不是逐层比值的算术平均,而是“RoPE 的平均响应除以 content 的平均响应”;图 2 中的层间分布则用中位数和四分位距描述。

这个结果之所以重要,是因为两条路径的缓存大小差了 8 倍(512 对 64)。如果按“误差能量按维度均摊”的朴素想法,64 维的 RoPE key 即使全错,能造成的总扰动也应该更小。实际结果反过来:RoPE 路径的每单位误差更致命。论文由此提出一个判断:缓存重建误差不是功能失真的充分代理指标。量化方案如果只盯着 cache NMSE,很容易把预算花在“大而钝”的 content 上,却在“小而尖”的 RoPE 上留下致命误差。

六个 MLA 模型的逐层双路径响应与 RoPE/content 比值分布

图 2 给出逐层的细节。每个子图对应一个模型,横轴是层号,纵轴是对数刻度的响应;蓝色是 content,红色是 RoPE。可以看到三件事。第一,RoPE 响应在绝大多数层都高于 content,但并非每一层都如此,层间差异很大。第二,响应随层号并不是单调的,浅层和深层的比值可能相差一个数量级。第三,右侧的比值分布用菱形标出中位数、须线标出四分位距,说明“RoPE 更敏感”是统计趋势,不是某一层的偶然。图 6 在附录中把 285 层画成了完整的层×模型热力图,结论一致。

层间差异本身也是个提示:敏感度是“算子相关”的,而不是一个全局常数。不同的 WK,hW_{K,h}、WV,hW_{V,h}、WO,hW_{O,h}、不同的注意力尺度、不同的激活分布,都会改变误差从缓存传到输出的增益。这直接引出了下一个问题:这个增益由什么决定?

误差到底怎么走到输出:精确的有限误差路径

要解释响应差异,先把误差路径写成恒等式,而不是一阶近似。设 content 缓存的量化误差为 ΔC\Delta C,RoPE key 缓存的量化误差为 ΔKP\Delta K_P。在矩阵吸收的写法下,两条路径对注意力分数的扰动分别是

ΔSC,h=τQˉC,hΔC⊤,ΔSP,h=τQP,hΔKP⊤.\Delta S_{C,h} = \tau \bar{Q}_{C,h} \Delta C^{\top}, \qquad \Delta S_{P,h} = \tau Q_{P,h} \Delta K_P^{\top}.

记扰动后的注意力概率为 A^b,h=softmax⁡(Sh+ΔSb,h)\hat{A}_{b,h} = \operatorname{softmax}(S_h + \Delta S_{b,h}),注意力变化为 ΔAb,h=A^b,h−Ah\Delta A_{b,h} = \hat{A}_{b,h} - A_h。一次只扰动一条路径时,输出变化可以精确写成

ΔYC=∑h(ΔAC,hCBh+AhΔCBh+ΔAC,hΔCBh),\Delta Y_C = \sum_h \left( \Delta A_{C,h} C B_h + A_h \Delta C B_h + \Delta A_{C,h} \Delta C B_h \right),ΔYP=∑hΔAP,hCBh.\Delta Y_P = \sum_h \Delta A_{P,h} C B_h.

这两个式子对任意有限的扰动都成立,没有做线性化。它们的结构差异非常关键:

  • content 路径有三项。第一项 ΔAC,hCBh\Delta A_{C,h} C B_h 是“注意力权重变了,但 value 还是原来的 content”;第二项 AhΔCBhA_h \Delta C B_h 是“注意力权重没变,但被加权的 content 本身变了”;第三项 ΔAC,hΔCBh\Delta A_{C,h} \Delta C B_h 是两者的交互——权重和 value 同时被扰动。
  • RoPE 路径只有一项。CC 没有被扰动,value 不变,只有注意力权重因为位置分数变化而改变。

这解释了一个容易被忽略的点:如果只重建 attention 分数(score-only reconstruction),content 路径的第二项和第三项完全不会被约束。而 content 路径的 value 和 key 来自同一个 latent,量化误差会同时污染“看谁”和“看什么”。这也意味着 content 路径的量化目标不能只看 logits,必须看最终的 attention 输出。后面的函数对齐目标正是从这里来的。

反过来,RoPE 路径的误差路径更“干净”:它只通过位置分数进入注意力权重,不碰 value。这种结构上的单纯性既是坏事也是好事。坏在它直接改的是 softmax 的输入,而 softmax 对分数差异的敏感度很高;好在它的误差可以用 positional QK 误差精确刻画,并且能推出一个有限的输出误差上界(第 7 节)。

一个数值直觉

考虑单个 query 对 nn 个 key 的注意力。softmax 对分数扰动的敏感度取决于当前分布的“尖锐程度”:如果注意力已经很集中,微小的分数变化可能改变 top-1 的选择;如果注意力很平坦,分数整体平移几乎不影响权重,但不同 key 之间的相对变化仍会重新分配概率。

RoPE 分数扰动是“按位置”的:QP,hΔKP⊤Q_{P,h} \Delta K_P^{\top} 对每个 key 产生不同的偏移,直接改变 key 之间的相对排序。content 分数扰动 QˉC,hΔC⊤ \bar{Q}_{C,h} \Delta C^{\top} 同样改变排序,但它同时还改变了 value。两者都会改权重,可是 content 的 value 扰动往往和权重扰动部分抵消或部分叠加,具体取决于 ΔC\Delta C 的方向;RoPE 没有这个“缓冲”。

这个直觉只能解释方向,解释不了为什么在匹配误差下 RoPE 的响应会高出一个数量级。要解释幅度,需要看局部增益。

局部放大模型:为什么更小的缓存反而更伤人

从 Jacobian 到瑞利商

把路径 bb 的缓存状态向量化,记为 cb∈RDbc_b \in \mathbb{R}^{D_b},量化误差记为 ebe_b。设输出(经过输出投影后的 attention 输出)向量化为 y=vec⁡(Y)y = \operatorname{vec}(Y),定义从缓存扰动到输出扰动的 Jacobian

Jb=∂y∂cb,Hb=Jb⊤Jb.J_b = \frac{\partial y}{\partial c_b}, \qquad H_b = J_b^{\top} J_b.

沿着实际量化误差方向,局部放大倍数是

Gb(eb)=∥Jbeb∥22∥eb∥22=eb⊤Hbebeb⊤eb.G_b(e_b) = \frac{\lVert J_b e_b \rVert_2^2}{\lVert e_b \rVert_2^2} = \frac{e_b^{\top} H_b e_b}{e_b^{\top} e_b}.

这是一个瑞利商(Rayleigh quotient)。HbH_b 是对称半正定矩阵,它的特征值描述“在哪个方向上扰动会被放大”,特征向量描述“哪些扰动方向最敏感”。同样的误差能量 ∥eb∥22\lVert e_b \rVert_2^2,如果 ebe_b 恰好落在最大特征值对应的特征向量附近,GbG_b 就大;如果落在小特征值对应的子空间,GbG_b 就小。

在局部近似下,输出 NMSE 与缓存 NMSE 的关系是

NMSEout,b≈NMSEcache,b⋅∥cb∥22∥y∥22⋅Gb(eb).\mathrm{NMSE}_{\text{out},b} \approx \mathrm{NMSE}_{\text{cache},b} \cdot \frac{\lVert c_b \rVert_2^2}{\lVert y \rVert_2^2} \cdot G_b(e_b).

这一步把“误差有多大”和“误差有多毒”分开了:前者是缓存 NMSE,后者是 GbG_b。匹配误差实验固定了前者,观察到的响应差异就来自后者。

三个可解释的分量

直接把 eb⊤Hbebe_b^{\top} H_b e_b 展开成对角项与非对角项:

eb⊤Hbeb=∑i(Hb)iieb,i2+∑i≠j(Hb)ijeb,ieb,j.e_b^{\top} H_b e_b = \sum_i (H_b)_{ii} e_{b,i}^2 + \sum_{i \neq j} (H_b)_{ij} e_{b,i} e_{b,j}.

令 Tb=tr⁡(Hb)/DbT_b = \operatorname{tr}(H_b) / D_b,再定义

Ab=∑i(Hb)iieb,i2Tb∥eb∥22,Ob=∑i≠j(Hb)ijeb,ieb,j∥eb∥22,A_b = \frac{\sum_i (H_b)_{ii} e_{b,i}^2}{T_b \lVert e_b \rVert_2^2}, \qquad O_b = \frac{\sum_{i \neq j} (H_b)_{ij} e_{b,i} e_{b,j}}{\lVert e_b \rVert_2^2},

就得到精确恒等式

Gb=TbAb+Ob.G_b = T_b A_b + O_b.

三个量的含义分别是:

  • TbT_b 是平均算子敏感度,等于 HbH_b 对角线均值(也是特征值均值)。它只由模型和层决定,与具体误差方向无关。
  • AbA_b 是误差能量在“高对角敏感度坐标”上的分配比例。如果误差在各坐标上均匀分布,Ab≈1A_b \approx 1;如果误差集中在不敏感的坐标上,Ab<1A_b < 1,相当于把误差“藏”进了模型不在乎的方向。
  • ObO_b 是有符号的跨坐标方向耦合。它取决于 HbH_b 的非对角结构和误差分量之间的符号关系,可正可负。

这个分解解释了一个反直觉现象:两条路径可以有相同的缓存误差能量、相同的算子敏感度 TbT_b,却因为误差方向不同而得到完全不同的输出失真。content 路径的误差未必“温和”,RoPE 路径也未必“天然更敏感”——真正决定结果的是误差几何。

论文还用 Rademacher 向量–Jacobian 积估计 HbH_b 的迹和对角线:对随机探针 rr,令 gb=Jb⊤rg_b = J_b^{\top} r,则 Er∥gb∥22=tr⁡(Hb)\mathbb{E}_r \lVert g_b \rVert_2^2 = \operatorname{tr}(H_b),Er[gb⊙gb]=diag⁡(Hb)\mathbb{E}_r [g_b \odot g_b] = \operatorname{diag}(H_b)。每条路径用 256 个探针,在缓存坐标下估计。

干预实验:改变误差分配,不改误差能量

如果 AbA_b 真是差异的来源,那么保持误差能量不变、只改变误差在坐标和 token 之间的分配,就应该显著改变增益。论文在 DeepSeek-V2-Lite 第 20 层做了三组等能量干预,每组 32 次重复,缓存 NMSE 固定为 10−310^{-3}:

干预方式content 增益比RoPE 增益比
独立随机化符号1.0481.115
整 token 置换误差5.9181.495
各向同性方向6.0071.380

表中数值是相对于原始量化误差的几何平均增益比,1 表示不变。

三组结果的信息量很大:

第一,整 token 置换让 content 路径的增益涨了 5.918 倍,接近把误差方向换成完全各向同性的 6.007 倍。这说明原始 content 量化误差的能量分配被严重“压在”低敏感方向上;一旦把每个 token 的误差向量换到别的 token 位置,能量还在、方向结构被破坏,content 路径的真实敏感度就暴露出来了。RoPE 路径只涨了 1.495 倍,因为它本来就没有被压制得那么厉害。

第二,只随机化符号几乎没有影响(1.048 和 1.115)。符号随机化保持每个坐标上的误差幅度 ∣ei∣|e_i| 不变,只改变正负,因此主要影响交叉项 ObO_b;ObO_b 变化不大说明在测试的误差尺度上对角项占主导,跨坐标耦合是次要因素。这也解释了为什么只预测算子迹(TbT_b)不够——还需要误差分配 AbA_b。

第三,跨层的整 token 置换实验(每个验证点 16 次,每个模型 576 次干预)把 content 路径的中位增益提高了 2.853 倍(DeepSeek-V2-Lite)和 4.220 倍(GLM-4.7-Flash)。这不是单层的偶然。

用算子–误差模型做预测

有了 TbT_b、AbA_b 的估计,就能预测层间增益比。论文对正增益比取对数:

log⁡(G^P/G^C)=log⁡(TP/TC)+log⁡(AP/AC)+γ,\log(\hat{G}_P / \hat{G}_C) = \log(T_P / T_C) + \log(A_P / A_C) + \gamma,

其中 γ=−0.07496\gamma = -0.07496 是在 DeepSeek-V2-Lite 阶段固定的修正项,在 GLM-4.7-Flash 上不重新拟合。两个对照组分别是“只用缓存误差预测 γ\gamma”和“只用算子迹预测 log⁡(TP/TC)+γ\log(T_P/T_C) + \gamma”。

在每模型 36 个验证点上,完整模型的 Spearman 相关系数为 0.9923(DeepSeek-V2-Lite)和 0.9614(GLM-4.7-Flash),中位绝对对数误差为 0.1054 和 0.0727。对照组的平均绝对误差则高得多:只用缓存误差是 1.5657 / 0.8790,只用算子迹是 0.9129 / 1.4276,而算子加误差分配是 0.1133 / 0.1173。这个对比说明:光知道“哪条路径的算子更敏感”不够,必须知道量化误差实际落在哪个子空间。

局部增益分析用的是 10−310^{-3} 的缓存 NMSE,前文的匹配误差实验用的是 10−210^{-2}。后者可能包含非线性效应,所以两者不是同一个数量级的直接外推;论文把它们分别作为“机理验证”和“现象测量”。

两条路径同时量化时还有交叉项

上面的分析每次只扰动一条路径。实际部署时两条路径同时量化,一阶输出扰动是 JCeC+JPePJ_C e_C + J_P e_P,其平方为

∥JCeC+JPeP∥22=∥JCeC∥22+∥JPeP∥22+2⟨JCeC,JPeP⟩.\lVert J_C e_C + J_P e_P \rVert_2^2 = \lVert J_C e_C \rVert_2^2 + \lVert J_P e_P \rVert_2^2 + 2 \langle J_C e_C, J_P e_P \rangle.

交叉项不一定为零,因此“分别优化两条路径”并不等于假设它们独立。QuantMLA 的做法是分别按各自的功能目标学习变换,然后在联合量化配置下整体评估;论文也明确说明路径隔离的学习不假设误差路径独立。

路径特定的可离线融合变换空间

分析给出了两个结论:content 路径要按“最终输出”来约束,RoPE 路径要按“位置 QK”来约束;同时,任何变换必须能完全融进已有参数,推理时不能多出在线矩阵乘。接下来要解决的是“能施加什么样的变换”。

量化前的等价变换是 PTQ 的常用手段:SmoothQuant 用通道缩放把激活离群值迁移到权重,QuaRot 用 Hadamard 旋转把离群值摊平,SpinQuant 进一步学习旋转。这些方法在常规 KV 缓存上有效,但 MLA 的缓存结构不同:content latent 同时供 Key 和 Value 使用,RoPE key 还要满足旋转位置编码的对易约束。直接把 QuaRot 的 Hadamard 搬过来,会在 RoPE 路径上留下一个无法离线融合的在线变换。

QuantMLA 的做法是为两条路径分别推导“既保持全精度计算、又能完全离线融合”的变换空间。

content 路径:正交旋转加逐通道缩放

先把 content latent 的来源写清楚。设

c=uΓ,u=RMSNorm1(x),c = u \Gamma, \qquad u = \mathrm{RMSNorm}_1(x),

其中 uu 是无权重归一化后的坐标(只有除以均方根,没有可学习的 gain),Γ=Diag⁡(γ)\Gamma = \operatorname{Diag}(\gamma) 是原本的 RMSNorm 通道缩放。用正交矩阵 RCR_C 和正的对角缩放 SC=Diag⁡(sC)S_C = \operatorname{Diag}(s_C) 重新参数化缓存:

zC=uRCSC.z_C = u R_C S_C.

对每一个消费这个 latent 的投影 WW,定义补偿后的权重

W′=SC−1RC⊤ΓW,RC⊤RC=I.W' = S_C^{-1} R_C^{\top} \Gamma W, \qquad R_C^{\top} R_C = I.

于是

zCW′=uRCSCSC−1RC⊤ΓW=uΓW=cW.z_C W' = u R_C S_C S_C^{-1} R_C^{\top} \Gamma W = u \Gamma W = c W.

全精度计算被精确保持。关键点是:这个变换不仅能融进消费侧,还能融进生产侧。因为无权重 RMSNorm 对正交变换是等变的,

RMSNorm1(xRC)=RMSNorm1(x)RC,\mathrm{RMSNorm}_1(x R_C) = \mathrm{RMSNorm}_1(x) R_C,

所以产生 content latent 的投影可以改写成 Wa′=WaRCW_a' = W_a R_C,归一化的 gain 直接替换成 SCS_C,所有下游的 Key 和 Value 消费侧再各自乘上 SC−1RC⊤ΓS_C^{-1} R_C^{\top} \Gamma。整套改动只发生在参数上,推理时缓存里存的就是 zCz_C,没有任何逐 token 的旋转或缩放。

为什么选“正交旋转 + 正缩放”而不是任意可逆矩阵?任意满秩 MM 在代数上也能做到 z=uMz = uM、W′=M−1ΓWW' = M^{-1}\Gamma W 的等价,但这样的空间条件数不可控,量化友好性也无从保证。正交旋转保持范数、不放大舍入误差,逐通道正缩放负责调整动态范围;两者组合足以把离群值和通道间方差拉开,同时保持数值稳定。学习时 RCR_C 用 Cayley 参数化保证正交性,SCS_C 在对数空间优化保证为正。

这里和 QuaRot 的差别不在“是否旋转”,而在“旋转是不是学的、目标是不是输出”。QuaRot† 在 content 路径上也可以用固定的归一化 Hadamard 并离线融合;QuantMLA 的 content 变换是可学习的,并且优化目标是 attention 输出重建,不是单纯的缓存重建。

RoPE 路径:只能在对易的变换里选

RoPE 路径的约束强得多。RoPE 会对 query 和 key 成对地施加位置相关的平面旋转。一个融合在 RoPE 之前的变换 TT,必须和这些位置旋转对易,否则“先变换再旋转”和“先旋转再变换”不等价,变换就无法折进 pre-RoPE 投影。

任意 dense 旋转会跨频率对混合坐标,而 RoPE 的旋转是按频率对(二维平面)定义的,跨对混合一般不对易。可行的最大结构是:在每个频率对内做平面旋转,并在对内使用同一个正缩放。

形式化地,令

RP=blockdiag⁡(Ri),Ri∈SO(2),SP=blockdiag⁡(siI2),si>0,R_P = \operatorname{blockdiag}(R_i), \quad R_i \in SO(2), \qquad S_P = \operatorname{blockdiag}(s_i I_2), \quad s_i > 0,

其中每个块对应一个 RoPE 频率对。取互逆的 query/key 变换

QP′=QPRPSP−1,KP′=KPRPSP.Q_P' = Q_P R_P S_P^{-1}, \qquad K_P' = K_P R_P S_P.

命题 1(RoPE 兼容的等价变换):上述变换保持全精度的位置分数,即

QP′(KP′)⊤=QPKP⊤.Q_P' (K_P')^{\top} = Q_P K_P^{\top}.

证明只需三步。第一,在每个频率对内,RiR_i 和 RoPE 的位置旋转都是二维平面旋转,平面旋转可交换;标量矩阵 siI2s_i I_2 与任何二维旋转可交换。第二,块对角矩阵在同一配对布局下继承这些交换关系,因此 RPR_P、SPS_P 与 RoPE 旋转对易。第三,RP⊤RP=IR_P^{\top} R_P = I、SP−1SP⊤=IS_P^{-1} S_P^{\top} = I,所以

QP′(KP′)⊤=QPRPSP−1SP⊤RP⊤KP⊤=QPKP⊤.Q_P' (K_P')^{\top} = Q_P R_P S_P^{-1} S_P^{\top} R_P^{\top} K_P^{\top} = Q_P K_P^{\top}.

因为对易,RPR_P 和 SPS_P 可以分别折进 RoPE 之前的 key 投影和 query 投影:

WK′=WKRPSP,WQ′=WQRPSP−1.W_K' = W_K R_P S_P, \qquad W_Q' = W_Q R_P S_P^{-1}.

推理时只缓存变换后的 KP′K_P',query 侧用补偿后的 WQ′W_Q' 生成,位置旋转照常施加,位置分数与原来完全一致。整个过程没有跨频率的在线混合。

这个空间的设计有两个容易忽略的细节。第一,缩放必须在频率对内绑定为 siI2s_i I_2。如果一对里的两个坐标用不同缩放,缩放矩阵就不再与二维旋转对易,等价性被破坏。第二,RPR_P 只能是频率对内的 SO(2)SO(2) 旋转,不能是任意正交矩阵;跨对旋转看似更灵活,但无法与 RoPE 对易,也就无法离线融合。

对照 QuaRot† 就能看出工程价值。QuaRot† 在 RoPE 之后对 query 和 key 施加固定的归一化 Hadamard 矩阵。这个矩阵跨频率对混合,不能折进 pre-RoPE 投影,因此 query 侧的 Hadamard 必须在每次推理时在线执行;只有 key 侧变换后的结果被缓存和量化。QuantMLA 的 RoPE 变换因为满足对易约束,query 和 key 两侧都能离线融合,解码路径上不需要任何额外的矩阵乘。这是“结构约束换工程收益”的典型例子:可选的变换家族变小了,但换来的是零在线开销。

QuantMLA 的学习与执行流水线:可融合空间、函数对齐学习、离线融合与混合精度执行

图 3 把整套流程画成四段。第一段是两条路径的可融合空间:content 用正交旋转 RCR_C 加通道缩放 SCS_C,RoPE 用频率对旋转 RPR_P 加对内绑定缩放 SPS_P,图中标注了 query 侧的互逆补偿 RPSP−1R_P S_P^{-1}。第二段是函数对齐学习:content 路径对齐 attention 输出,RoPE 路径对齐 positional QK;学习时另一条路径保持精确,避免两条路径的误差在优化过程中互相干扰。第三段是离线融合:学到的旋转和缩放被折进产生侧与消费侧投影,图中标注“Projections + normalization”和“Full-precision equivalence”,也就是融合后全精度计算不变。第四段是混合精度执行:sink 和最近窗口用 BF16,其余历史用低比特内容与 RoPE 缓存,所有 token 共享一次全局 softmax。

函数对齐的学习目标

有了变换空间,下一个问题是:在这个空间里挑哪个具体变换?朴素做法是让量化前后的缓存张量尽量接近,也就是最小化 cache NMSE。但第 4 节已经说明,cache NMSE 不是功能失真的代理。QuantMLA 给每条路径配了一个与它的误差路径对齐的目标。

content 路径:重建 attention 输出

content 路径的误差同时经由匹配、聚合和交互三项到达输出,所以目标函数直接看输出:

LC=Ex,l∥Yl(QCR,S(C),KP;x)−Yl(C,KP;x)∥F2max⁡{∥Yl(C,KP;x)∥F2, ϵC}.\mathcal{L}_C = \mathbb{E}_{x,l} \frac{\left\lVert Y_l(Q_C^{R,S}(C), K_P; x) - Y_l(C, K_P; x) \right\rVert_F^2} {\max\left\{\left\lVert Y_l(C, K_P; x) \right\rVert_F^2,\, \epsilon_C\right\}}.

逐项解释:

  • Yl(C,KP;x)Y_l(C, K_P; x) 是冻结的 BF16 教师模型在第 ll 层、输入 xx 上的 attention 输出,包含输出投影。
  • QCR,S(C)Q_C^{R,S}(C) 是在学到的坐标(旋转 RCR_C、缩放 SCS_C)下对 content 缓存做量化–反量化后的结果,消费侧用补偿后的权重;此时 RoPE 路径保持精确。
  • 分母是教师输出的能量,取 ϵC\epsilon_C 下限防止除零,因此这是一个归一化的相对失真。
  • Ex,l\mathbb{E}_{x,l} 表示对校准序列和层求平均。

为什么是输出而不是 logits?因为 content 误差会污染 value。如果只重建分数 QˉC,hC⊤\bar{Q}_{C,h} C^{\top},那么 AhΔCBhA_h \Delta C B_h 和 ΔAC,hΔCBh\Delta A_{C,h} \Delta C B_h 两项完全不被约束。输出重建同时覆盖“权重变了”“value 变了”“两者一起变”三种情况,代价是目标函数里多了一次注意力计算,但校准是一次性离线过程,这个代价可以接受。

RoPE 路径:重建 positional QK,并有输出上界

RoPE 路径的结构更简单:CC 不动、value 不动,量化只扰动位置分数 ZP,h=QP,hKP⊤Z_{P,h} = Q_{P,h} K_P^{\top}。这个结构允许把输出误差用位置分数误差精确上界住。

命题 2(位置 QK 扰动的有限输出界):固定 content logits、query、value 表示和有效因果 key 集合,且每个 query 至少有一个有效 key。设位置分数扰动为 ΔZP,h\Delta Z_{P,h},记 Vˉh=CBh\bar{V}_h = C B_h 为该头经输出投影后的有效 value,Ω\Omega 为有效 query–key 对的二值掩码。则

∥ΔYP∥F2≤τ24(∑h∥Vˉh∥22)(∑h∥Ω⊙ΔZP,h∥F2).\lVert \Delta Y_P \rVert_F^2 \le \frac{\tau^2}{4} \left(\sum_h \lVert \bar{V}_h \rVert_2^2\right) \left(\sum_h \lVert \Omega \odot \Delta Z_{P,h} \rVert_F^2\right).

这个界对所有有限的分数扰动成立,不需要一阶近似。证明的骨架如下。

softmax 的 Jacobian 是 D=Diag⁡(a)−aa⊤D = \operatorname{Diag}(a) - a a^{\top},对任何概率向量 aa 它都是对称半正定的,且第 ii 行的绝对值之和为 2ai(1−ai)≤1/22a_i(1-a_i) \le 1/2,于是

∥D∥2≤∥D∥1∥D∥∞≤12.\lVert D \rVert_2 \le \sqrt{\lVert D \rVert_1 \lVert D \rVert_\infty} \le \frac{1}{2}.

沿“原始分数向量 → 扰动分数向量”的线段积分 Jacobian(这是中值定理的矩阵形式),得到注意力变化的范数界

∥Ah−A^h∥F≤τ2∥Ω⊙(ZP,h−Z^P,h)∥F.\lVert A_h - \hat{A}_h \rVert_F \le \frac{\tau}{2} \lVert \Omega \odot (Z_{P,h} - \hat{Z}_{P,h}) \rVert_F.

单个头的输出扰动满足

∥Yh−Y^h∥F≤τ2∥Ω⊙ΔZP,h∥F∥Vˉh∥2.\lVert Y_h - \hat{Y}_h \rVert_F \le \frac{\tau}{2} \lVert \Omega \odot \Delta Z_{P,h} \rVert_F \lVert \bar{V}_h \rVert_2.

多个头共享同一份位置 key,层输出扰动是各头扰动之和。用三角不等式和 Cauchy–Schwarz 把求和拆成“分数误差项”和“value 能量项”的乘积,再平方,就得到命题 2 的形式。

这个界告诉我们的不只是“位置分数要准”,还告诉了一个权重结构:每个头的贡献按 ∥Ω⊙ΔZP,h∥F2\lVert \Omega \odot \Delta Z_{P,h} \rVert_F^2 计,乘以该头的 value 能量 ∥Vˉh∥22\lVert \bar{V}_h \rVert_2^2。也就是说,应该优先保证 value 能量大的头的位置分数精度。不过论文的 RoPE 目标并没有引入逐头的权重,而是对所有头、所有有效因果对求和后再归一化:

LP=Ex,l∥Ω⊙(Q~P,lK^P,l⊤−QP,lKP,l⊤)∥F2max⁡{∥Ω⊙QP,lKP,l⊤∥F2, ϵP},\mathcal{L}_P = \mathbb{E}_{x,l} \frac{\left\lVert \Omega \odot \left(\tilde{Q}_{P,l} \hat{K}_{P,l}^{\top} - Q_{P,l} K_{P,l}^{\top}\right) \right\rVert_F^2} {\max\left\{\left\lVert \Omega \odot Q_{P,l} K_{P,l}^{\top} \right\rVert_F^2,\, \epsilon_P\right\}},

其中 Q~P\tilde{Q}_P 是补偿后的未量化 query,K^P\hat{K}_P 是变换后量化再重建的 key。

这个目标里有一个容易被忽略的设计点:用完整的 positional QK 矩阵做重建,而不是分别重建每个频率对的误差。不同频率对的分数会在相加时相互抵消(一个频率对偏大、另一个偏小,合起来可能刚好对),逐对重建会丢失这种抵消关系,导致对最终 logits 的约束变弱。保留整矩阵的叉频率抵消,正是这一项与“逐块量化误差最小化”的本质区别。

关于学习目标为何能控制输出,论文还给出了归一化后的推导:对固定样本,定义分数能量 DZ=max⁡{∑h∥Ω⊙ZP,h∥F2,ϵP}D_Z = \max\{\sum_h \lVert \Omega \odot Z_{P,h} \rVert_F^2, \epsilon_P\}、输出能量 DYD_Y,则

∥ΔYP∥F2DY≤τ2DZ4DY(∑h∥Vˉh∥22)ℓP,\frac{\lVert \Delta Y_P \rVert_F^2}{D_Y} \le \frac{\tau^2 D_Z}{4 D_Y} \left(\sum_h \lVert \bar{V}_h \rVert_2^2\right) \ell_P,

其中 ℓP\ell_P 就是上面的样本级损失。对固定样本,前面这个乘子与学到的 RoPE 变换无关:因为等价补偿保持教师位置分数不变、value 不变。因此最小化平均的归一化 positional QK 重建,是在控制输出误差,而不是恰好等价于输出重建。它的严格程度比“精确重写”弱,但有理论可控性;而且由于补偿保持全精度分数不变,命题 2 对学习过程中的每个候选表示都逐点成立。

两者为什么要分开

论文还指出,attention 输出重建和 positional QK 重建对同一批分数误差的权重并不相同。单头的局部导数为

∂Yh,q∂(ZP,h)qk=τAh,qkVh,k−Oh,qWO,h,\frac{\partial Y_{h,q}}{\partial (Z_{P,h})_{qk}} = \tau A_{h,qk} V_{h,k} - O_{h,q} W_{O,h},

其中 Oh,qO_{h,q} 是该 query 的未归一化加权 value,Ah,qkA_{h,qk} 是注意力概率。直观上,如果某个 key 的注意力权重很小,它在输出重建里的权重也小;但它的位置分数误差仍然会被 QK 重建惩罚。对于 RoPE 路径,“位置分数是它唯一的产物”,用 position QK 重建更直接、更可解释;如果硬用输出重建,敏感度会被 attention 权重稀释,误差可能在低权重位置上累积而不被纠正。

反过来,content 路径的误差有“跨位置”的聚合效应,输出重建才能把这些效应汇总起来。两条路径各自用对自己误差路径最忠实的目标,这就是“函数对齐”的含义。

DeepSeek-V2-Lite 在 RULER S-NIAH-1/2/3 上的检索准确率随上下文长度变化

图 4 在这里放是为了说明“位置误差”在真实任务上的后果。它是 DeepSeek-V2-Lite 在 C4R4 下对 RULER 单针检索任务(S-NIAH-1/2/3)的准确率,横轴是 4K 到 32K 的上下文长度,每个点 500 个样本。S-NIAH-1 和 S-NIAH-2 上 QuantMLA 与 BF16 几乎重合(平均 99.95% 和 99.60%),说明位置路径的量化没有破坏“按位置找到针”的基本能力。S-NIAH-3 的难度更高(多个干扰项、需要更精确的位置区分),QuantMLA 平均 87.20%,比最强的量化基线高 7.40 个百分点,在每个测试长度上都领先。检索任务正是 RoPE 路径敏感的典型场景:它要求模型准确区分不同位置的 key,位置分数的任何系统性偏差都会直接体现在找针成功率上。

校准、学习与离线融合

整个量化流程发生在部署之前:冻结模型权重,只用少量校准数据学习两条路径的变换,然后把变换折进参数,最后用原生低比特 kernel 执行。论文给出的校准规模很小:WikiText-2 训练集,序列长度 2048,batch size 4,每条路径 300 步,128 条训练序列加 32 条不相交的验证序列,三个随机种子。

量化器:逐 token、分组、非对称仿射

校准和推理使用同一套量化规则,保证离线模拟与在线执行一致。每个 token 独立量化,坐标按 64 个一组。对位宽 bb,令 m=2b−1m = 2^b - 1,组内极值为 xmin⁡x_{\min}、xmax⁡x_{\max},则

s=max⁡(xmax⁡−xmin⁡,10−8)m,z=clip⁡(round⁡(−xmin⁡/s), 0, m),s = \frac{\max(x_{\max} - x_{\min}, 10^{-8})}{m}, \qquad z = \operatorname{clip}\left(\operatorname{round}(-x_{\min}/s),\, 0,\, m\right),q=clip⁡(round⁡(x/s+z), 0, m),x^=s(q−z).q = \operatorname{clip}\left(\operatorname{round}(x/s + z),\, 0,\, m\right), \qquad \hat{x} = s(q - z).

ss 是缩放因子,zz 是零点,qq 是整数码,x^\hat{x} 是反量化结果。舍入采用 round-to-nearest、ties-to-even;常数组不做特殊处理。校准阶段对舍入使用直通估计器(STE),让梯度能穿过 round 操作回传到变换参数。

这个量化器有两处与 MLA 的存储布局相关。第一,分组大小 64 与 content 的 512 维、RoPE 的 64 维都能整齐对齐;第二,原生执行时 content 的 scale 存 BF16,RoPE 的 scale 存 FP32。RoPE 只有 64 维、对误差更敏感,用更高精度存元数据是低成本的保险。

变换参数化

学习时只优化变换参数,预训练权重全部冻结:

  • content 旋转 RCR_C 用 Cayley 参数化。Cayley 变换把反对称矩阵映射到正交矩阵,天然保证 RC⊤RC=IR_C^{\top} R_C = I,不需要在优化中做正交化修正。
  • RoPE 的每个频率对旋转用可训练的角度参数,直接构造 SO(2)SO(2) 旋转。
  • 两个缩放 SCS_C、SPS_P 在对数空间优化,保证为正。

缩放初始化不是全 1。设通道 jj 的 99.9 百分位幅度为 aja_j,a~j=max⁡(aj,10−8)\tilde{a}_j = \max(a_j, 10^{-8}),初始化

log⁡sj(0)=clip⁡(α[mean⁡klog⁡a~k−log⁡a~j], −2, 2),\log s_j^{(0)} = \operatorname{clip}\left( \alpha \left[\operatorname{mean}_k \log \tilde{a}_k - \log \tilde{a}_j\right], \, -2,\, 2 \right),

其中 α∈{0,0.125,0.25,0.5,0.75,1}\alpha \in \{0, 0.125, 0.25, 0.5, 0.75, 1\} 在留出集上搜索,α=0\alpha = 0 表示初始化为全 1(缩放不起作用)。这个式子的含义是:把每个通道的幅度向全局平均幅度拉,幅度大的通道压小、幅度小的通道放大;α\alpha 控制拉平强度。RoPE 的统计量和缩放在一个频率对内绑定。

优化设置:AdamW,weight decay 0,10% warmup 加 cosine decay,梯度裁剪 1.0;content 旋转学习率 3×10−33\times10^{-3},RoPE 角度和缩放学习率 1×10−31\times10^{-3},content 缩放学习率 1×10−31\times10^{-3};旋转/角度/缩放的 anchor 正则系数 10−410^{-4};每 20 步验证一次,包括第 0 步。每条路径独立选择留出集目标最低的 checkpoint,不用下游测试集挑模型。

流程与等价性检查

校准过程可以概括成下面的伪代码:

for each layer l:
capture BF16 inputs, attention outputs, positional queries/keys
initialize content transform (R_C, S_C) and RoPE transform (R_P, S_P)
# content path: RoPE stays exact
for step in 1..300:
quantize/dequantize C in learned coordinates
compute attention with compensated consumers
loss = normalized attention-output reconstruction
update R_C, S_C (Cayley + log-scale)
select best content checkpoint on held-out split
# RoPE path: C stays exact
for step in 1..300:
quantize/dequantize transformed K_P
compute positional QK with compensated unquantized Q_P
loss = normalized positional-QK reconstruction
update R_P, S_P
select best RoPE checkpoint on held-out split
compose both transforms
fuse into producing and consuming projections
verify quantization-disabled equivalence
evaluate joint quantized model

流程里有两个容易被跳过的检查,论文专门做了。

第一是融合等价性检查。先把量化关掉,比较原始模型和离线融合后的模型:逐层输出误差、端到端 NLL 漂移。这一步隔离的是“代数融合是否正确”,能抓出 RoPE 配对方式、变换顺序、子块选择、互逆补偿写错等问题。只有这一步通过,后面的量化误差才有意义。

第二是原生执行正确性检查。用同一个重建后的混合精度缓存,分别跑原生低比特 kernel 和 BF16 参考实现,比较输出和 log-sum-exp。论文报告所有测试配置在两次独立运行中逐位一致。这个检查验证的是 kernel 的缓存表示和执行语义,不是“与原模型一致”;它保证解包、反量化和分区调度的实现没有引入额外误差。

还有一个实现细节值得注意:校准阶段没有 BF16 保护区域,sink 和最近窗口的保护策略只在评估时启用。这样学习目标面对的是“全历史都被量化”的最坏情况,保护策略则是部署时的额外保险,不会让变换过拟合到保护区域。

原生低比特执行:把解包融进注意力

量化方案如果只停留在 PyTorch 的量化–反量化模拟,服务层的收益是零:缓存还是按 BF16 存,反量化还要额外的 kernel。QuantMLA 在 FlashMLA 的解码路径上实现了原生低比特后端,缓存直接以 INT4 打包存储,解包和反量化融进注意力计算,不物化完整的 per-head Key/Value,也不物化整段历史的 BF16 缓存。

混合精度保护策略

一个很实际的问题是:即使 content 和 RoPE 都用 INT4,开头几个 token 和最近一段 token 仍然值得用 BF16。原因和 attention sink 现象有关:序列开头的少数 token 往往会吸收大量注意力,最近窗口则决定当前生成的局部连贯性,它们的误差会被放大。论文的保护集合是

PL={0,…,min⁡(4,L)−1}∪{max⁡(0,L−128),…,L−1},P_L = \{0, \ldots, \min(4, L) - 1\} \cup \{\max(0, L - 128), \ldots, L - 1\},

也就是前 4 个 sink token 加最近 128 个 token,重叠部分只算一次。对 PLP_L 内的 token,注意力读取量化前的 BF16 content 和 RoPE key;对其余 token,读取从打包缓存重建的值。

这个策略有三个严格的实现约束:

  • 一个 token 只贡献一次。保护 token 同时保留 BF16 和打包副本,但注意力计算时只使用其中一种表示,不能重复计入。
  • 全局 softmax。保护和量化区域共享同一个 softmax 归一化。如果分区计算,需要用在线合并公式把各区的局部最大值、指数和、未归一化加权和合并:
m=max⁡jmj,s=∑jemj−msj,o=∑jemj−moj,O=o/s.m = \max_j m_j, \qquad s = \sum_j e^{m_j - m} s_j, \qquad o = \sum_j e^{m_j - m} o_j, \qquad O = o/s.

其中 mjm_j、sjs_j、ojo_j 分别是第 jj 个分区的局部最大值、指数和、未归一化输出和。独立归一化每个分区再拼接,会破坏全历史注意力的归一化,结果不等价。

  • 离开窗口不重新量化。每个 token 在写入时就会生成打包副本;当非 sink token 滑出最近 128 窗口,注意力直接切换到已有的打包副本,不需要再做一次量化或数据搬运。这一点决定了 cache 的生命周期是“写入时定型”,而不是“滑出时转换”。

物理布局与容量账

以 dc=512d_c = 512、dr=64d_r = 64、页大小 64 token 计算。INT4 打包后,每页 content 加 RoPE 的码字是

64×512+642=64×288=18432 字节,64 \times \frac{512 + 64}{2} = 64 \times 288 = 18432 \text{ 字节},

再加上 scale、zero point 等元数据,实测每页 20480 字节,折合每 token 每层 320 字节。BF16 的同一页是 64×1152=7372864 \times 1152 = 73728 字节。此外,每个请求每层还要为 132 个保护 token 分配 BF16 缓冲:

132×576×2=152064 字节,132 \times 576 \times 2 = 152064 \text{ 字节},

以及每个物理页 8 字节的反向页映射。于是每层持久缓存为

MC4R4(L)=⌈L/64⌉(20480+8)+152064,M_{\text{C4R4}}(L) = \left\lceil L/64 \right\rceil (20480 + 8) + 152064,MBF16(L)=⌈L/64⌉×73728.M_{\text{BF16}}(L) = \left\lceil L/64 \right\rceil \times 73728.

两者的比值随 LL 变化:4K 时 3.22 倍,128K 时 3.59 倍。长度越长,固定的 152 KB 保护缓冲越被摊薄,压缩比越接近纯 INT4 的理论值。这个账里包含了保护 token 的冗余打包副本,但不含模型权重、共享页表、分配器开销和临时工作区。

原生混合精度 MLA 执行:写入、持久缓存布局与注意力读取路径

图 8 是缓存布局和读取路径。左侧是 cache 更新:新来的 content/RoPE 状态经过量化、打包、写入,同时保留 sink 与最近窗口的 BF16 值;每个 token 都有一份打包副本,保护 token 额外有一份 BF16。中间是持久缓存:所有 token 的打包 INT4 副本、BF16 保护缓冲、scale/zero point 元数据、页映射。右侧是注意力读取:query 先算 QK 分数,保护 token 用 BF16,其余 token 解包反量化;所有 token 进入一次全局 softmax,然后做 content latent 聚合。底部标注了两条关键规则:每个 token 只用一种表示,全历史共享一次 softmax;非 sink token 滑出窗口时直接读打包副本,不重新量化。

解码 kernel 的流水线

低比特注意力的性能难点不在算术量,而在“解包–反量化–喂给 Tensor Core”这条数据链。如果解包后的 BF16 tile 要等整页都准备好才能开始算,流水线会被同步点切碎。论文的 kernel 做了几处针对性安排:

  • 打包数据和量化元数据与重建后的 BF16 tile 分开缓冲。这样预取可以在前一批 tile 还在使用时继续进行,不会被同一个共享内存区域的写后读依赖卡住。
  • 元数据独立存放,避免与重建的 RoPE tile 发生共享内存别名(aliasing)。别名会让编译器或硬件保守地插入同步,推迟 RoPE QK 的计算;分开之后,RoPE QK 可以更早调度,而不改变累加顺序。
  • 保护 token 的 BF16 content 加载与未保护行的 INT4 重建重叠执行,消费前再同步。保护的 132 个 token 数量固定,正好可以当作流水线里的“长延迟但可预测”的一批加载。
  • 重建后的 content tile 同时服务 QK 匹配和 latent 聚合,两个消费者都完成后才允许覆盖。这样一次解包被用两次,避免为了聚合再解一遍。
  • 打包缓冲在重建完成后立即复用;重建的 content tile 则要活到 QK 和 PV 都结束。

这些优化听起来琐碎,但它们决定了“低比特”能不能真的省时间。很多量化 kernel 在算术上更快,却在解包和同步上把收益吃回去;QuantMLA 的报告显示,在 64K 以上上下文,原生低比特注意力的延迟与 BF16 的差异在 0.5% 以内。

具体数据(单卡,16 个 query 头,1 个 query token,QK 维度 576,聚合维度 512,64-token 页,78 个调度分区;每配置 120 个样本):

batch上下文BF16 延迟 (µs)C4R4 延迟 (µs)相对差
81K25.6923.78-7.42%
84K51.4353.63+4.29%
88K82.5085.35+3.45%
832K281.44281.99+0.20%
864K542.14540.61-0.28%
8128K1067.241062.32-0.46%
81M8440.058418.63-0.25%
321K55.5056.97+2.64%
32128K4236.964225.35-0.27%
321M33701.4833609.17-0.27%

短上下文(1K 到 16K)时,C4R4 略慢,因为固定开销(保护缓冲、元数据、解包启动)还没有被长历史摊薄;32K 之后基本持平,64K 以上略快。这说明该方案的目标场景是长上下文、大 batch 的缓存压力,而不是“任何长度都快 2 倍”。它省下的是容量,容量再转化成吞吐;单次注意力 kernel 并不是主要收益来源。

精度:联合 INT4 到底掉了多少

评估分两套基准,分别覆盖通用能力与推理/代码能力。通用套件包括五个常识基准(HellaSwag、PIQA、ARC-Easy、ARC-Challenge、WinoGrande)、MMLU、GSM8K,以及三个信息抽取任务(FDA、SWDE、SQuAD 补全),跑在 DeepSeek-V2-Lite 和 Moonlight-16B-A3B 上。推理与代码套件包括 GPQA-Diamond、MMLU、GSM8K、MATH500、AIME25、HumanEval、LiveCodeBench,跑在 LongCat-Flash-Lite 和 GLM-4.7-Flash 上。CxRy 表示低比特历史的 content 用 xx 位、RoPE key 用 yy 位;C4R4 为主设置,C2R4 把 content 进一步压到 INT2。

与基线怎么比

截至论文写作时,没有公开工作报告过 MLA content 与 RoPE 缓存的联合 INT4,因此没有同精度的直接对标方法。论文选了三类基线:直接的 round-to-nearest(RTN),以及两个把 SmoothQuant 和 QuaRot 适配到 MLA 原生缓存表示上的版本(标为 †)。两种适配都采用与 QuantMLA 相同的逐 token 非对称仿射量化器(group 64),并且只做缓存量化–反量化模拟。

这两个适配值得单独说,因为它们的“公平性”直接影响结论。

SmoothQuant† 保留通道缩放的思想:content 用 uSCu S_C 缓存、下游消费侧补偿;RoPE 则让每个频率对共享一个正缩放,query/key 互逆补偿 KP′=KPSPK_P' = K_P S_P、QP′=QPSP−1Q_P' = Q_P S_P^{-1},保持位置分数。缩放由统计量决定,不做梯度优化,α\alpha 在留出集上选。

QuaRot† 保留固定 Hadamard 旋转:content 在无权重归一化坐标上乘归一化 Hadamard,并利用 RMSNorm 的正交等变性离线融合。RoPE 的 INT4 配置里,Hadamard 施加在 RoPE 之后,QP′=QPHPQ_P' = Q_P H_P、KP′=KPHPK_P' = K_P H_P,只有 key 侧被缓存,query 侧 Hadamard 在线执行。

这里能看出 QuantMLA 与两个基线的结构差别:QuaRot† 的 RoPE 旋转不可离线融合,多了一次在线矩阵乘;SmoothQuant† 的 RoPE 缩放是可融合的,但只有缩放、没有旋转,而且没有函数对齐的学习目标。QuantMLA 同时具备“可离线融合”和“按功能目标学习”两点。

通用与信息抽取

模型设置CSMMLUGSM8KFDASWDESQuAD平均
DeepSeek-V2-LiteBF1669.7657.9036.9278.1389.2057.1066.80
DeepSeek-V2-LiteC4R4 RTN67.1751.9016.9865.0684.8855.5061.02
DeepSeek-V2-LiteC4R4 SmoothQuant†68.2354.0224.5670.6987.8556.0763.44
DeepSeek-V2-LiteC4R4 QuaRot†69.0155.6630.7172.1488.1255.0664.67
DeepSeek-V2-LiteC4R4 QuantMLA69.9257.9535.2577.7788.1256.7066.54
DeepSeek-V2-LiteC2R4 QuantMLA69.8557.2937.9160.4484.5254.7964.42
Moonlight-16B-A3BBF1674.3269.9774.5378.4090.1051.0773.57
Moonlight-16B-A3BC4R4 RTN73.9467.9969.6075.5990.6451.1172.46
Moonlight-16B-A3BC4R4 QuaRot†74.1167.7371.8774.4190.2850.2072.50
Moonlight-16B-A3BC4R4 QuantMLA74.2469.7174.5378.7789.6550.5473.44
Moonlight-16B-A3BC2R4 QuaRot†62.7256.1627.3725.5072.7335.3653.07
Moonlight-16B-A3BC2R4 QuantMLA74.2269.2975.2172.5088.2150.6472.70

C4R4 下,QuantMLA 在两个模型上分别比 BF16 低 0.26 和 0.13 个百分点,基本在测量误差范围内。对比同精度基线,差距体现在个别任务上:DeepSeek-V2-Lite 的 GSM8K,QuantMLA 为 35.25%,RTN 只有 16.98%,SmoothQuant† 24.56%,QuaRot† 30.71%。GSM8K 对位置敏感,是 RoPE 路径量化出问题时的典型症状——题目里的数字、步骤之间的位置关系一旦错位,推理链就断了。Moonlight 上 QuantMLA 的 GSM8K 与 BF16 完全相同(74.53%)。C2R4 时 QuantMLA 仍保留 64.42% 和 72.70% 的平均分,比同精度最强基线分别高 7.20 和 10.84 个百分点;这个设置下信息抽取任务的下降更明显(FDA 60.44%),说明把 content 压到 INT2 时,value 的细节损失开始成为短板。

推理与代码

模型设置GPQA-DMMLUGSM8KMATH500AIME25HumanEvalLiveCodeBench平均
LongCat-Flash-LiteBF1646.4680.7771.7257.4070.0073.7849.6764.26
LongCat-Flash-LiteC4R4 RTN42.4276.3868.0148.0040.0039.0232.7049.50
LongCat-Flash-LiteC4R4 SmoothQuant†42.4278.4969.7553.2053.3360.3742.7557.19
LongCat-Flash-LiteC4R4 QuaRot†39.9078.5264.6754.4056.6756.7142.6556.22
LongCat-Flash-LiteC4R4 QuantMLA44.9580.5169.7554.8063.3371.3449.3862.01
LongCat-Flash-LiteC2R4 QuantMLA44.9580.5768.8456.8060.0071.3449.0061.64
GLM-4.7-FlashBF1642.9372.0983.8556.4063.3336.5932.0455.32
GLM-4.7-FlashC4R4 RTN37.8870.7981.2751.2056.6729.8829.6751.05
GLM-4.7-FlashC4R4 QuantMLA38.8971.9583.7057.4056.6734.7632.8953.75
GLM-4.7-FlashC2R4 QuaRot†28.7953.6451.1034.2026.676.1018.1031.23
GLM-4.7-FlashC2R4 QuantMLA39.3971.5082.9455.0046.6734.1530.3351.43

C4R4 下 QuantMLA 在 LongCat-Flash-Lite 和 GLM-4.7-Flash 上的平均分为 62.01% 和 53.75%,比同精度最强基线高 4.82 和 2.70 个百分点;LiveCodeBench 在 LongCat 上只低 0.29 个百分点,GSM8K 在 GLM 上只低 0.15 个百分点。C2R4 下 LongCat 仍保留 HumanEval 71.34% 和 LiveCodeBench 49.00%,与 BF16 几乎持平;GLM 的平均分为 51.43%,但在 AIME25 这类高难度、长推理链任务上从 63.33% 掉到 46.67%,任务间波动明显。这与前文的机理一致:INT2 content 压缩对 value 细节的破坏在需要多步精确推理的任务上最先暴露。

QuaRot† 在 C2R4 下崩塌(GLM 平均 31.23%,HumanEval 6.10%),说明固定旋转加激进 content 压缩的组合在 MLA 结构上不稳定;QuantMLA 的可学习变换加输出重建目标在这个极端设置下仍能维持可用精度。

消融:每个组件各自贡献多少

在 DeepSeek-V2-Lite 的完整 MMLU 测试集上,从 RTN 出发逐项叠加:

配置MMLU (%)增量
BF1657.90—
RTN(未保护 C4R4)51.90—
加 content 变换53.12+1.22
加 RoPE 变换56.31+3.19
加混合精度 cache 策略57.95+1.64

这张表的信息量集中在两点。第一,RoPE 变换的增量(3.19)大于 content 变换(1.22),与“RoPE 路径更敏感”的现象一致:同样是从 RTN 出发,先把更敏感的那条路径修好,收益更大。第二,两项变换叠加后的未保护配置(56.31%)就已经超过 SmoothQuant†(54.02%)和 QuaRot†(55.66%),说明函数对齐的变换本身就有效,不依赖 BF16 保护;混合精度策略再贡献 1.64,把结果推到与 BF16 持平。

论文明确说明这些增量是沿表列顺序的累积效果,不能当作与顺序无关的独立贡献。

服务层收益:容量如何变成吞吐

单次注意力延迟持平,并不等于服务没有收益。长上下文服务里,KV 缓存容量决定了调度器能同时驻留多少 token;容量不够时,vLLM 会抢占请求、把已算好的 KV 换出,之后重新 prefill。重算的 token 数是按整段前缀计的,一次小的容量溢出可能放大成几百万 token 的重复计算。

论文的压力测试是:DeepSeek-R1-0528,8 张 GPU,attention 用 TP8/DP1,MoE 用 TP8,FP8 权重、BF16 激活;vLLM 0.10.2,PyTorch 2.8.0,GPU 显存利用率设 90%,64-token 页,关闭前缀缓存,最多 16 条并发序列;chunked prefill 以 8192 token 为步长、eager 执行,解码用 CUDA Graph 覆盖 batch 1 到 16。五个请求同时到达,每个 131072 输入 token、生成 1024 输出 token,temperature 0,忽略 EOS。

BF16 缓存下可用槽位是 657,856 个 token,而五个请求的输入加输出预算是 5×(131072+1024)=660,4805 \times (131072 + 1024) = 660,480,超出 2,624 个槽位。就是这 0.4% 的溢出触发了 32 次抢占,重算了 3,996,255 个 token;整任务耗时 1958.392 秒,输出吞吐 2.614 token/s。

C4R4 缓存下可用槽位变成 2,360,832,是 BF16 的 3.59 倍;同样五个请求没有发生任何抢占,耗时 378.929 秒,吞吐 13.512 token/s。相对 BF16 是 5.168 倍。

C4R4 的 KV 缓存占用、注意力延迟与缓存压力下的整任务吞吐

图 5 有三块。(a) 是 1K 到 128K 的持久 KV 缓存占用,包含 BF16 缓冲、元数据和页映射:4K 时是 BF16 的 2.46 倍压缩,128K 时 3.59 倍;曲线随长度上升,因为固定的 132-token 保护缓冲被摊薄。(b) 是 batch 8 和 32、1K 到 1M 的注意力延迟相对 BF16 的比值,绝大多数点在 1.0 附近,短上下文略高于 1,长上下文略低于 1。(c) 是压力测试的整任务吞吐:BF16 2.61 token/s、32 次抢占,C4R4 13.51 token/s、0 次抢占,两者使用同一套 vLLM 原生调度策略。

这里必须把收益归因说清楚:5.168 倍不是注意力 kernel 快了 5 倍,而是避免了容量驱动的抢占和重算。论文自己也强调,这个数字只适用于所评估的缓存压力负载;如果请求短、并发低、或者前缀缓存命中率高,容量不再是约束,收益会小得多。表 9 的延迟数据也说明,单次注意力在长上下文只是略快于 BF16。

这个结果对部署的启示是:低比特 KV 缓存的价值要按“容量–调度–吞吐”的链路来评估,而不是只看单 kernel 延迟。一个量化方案如果在 4K 上下文下让注意力慢 4%,但在 128K 缓存压力下把抢占从 32 次降到 0,服务层的收益仍然是数量级的。反过来,如果只看 kernel benchmark,可能会错过真正的价值;如果只看容量压缩比,又会忽略精度和调度行为。

与已有工作的位置

MLA 缓存量化处在这几条线的交叉点上,理解它和已有方法的关系,有助于判断哪些结论可以迁移、哪些不能。

变换类量化:SmoothQuant 用通道缩放把激活离群值迁移到权重;QuaRot 用随机/归一化 Hadamard 旋转把离群值摊平,实现 W4A4KV4;SpinQuant 把旋转变成可学习的;FlatQuant、OSTQuant、FPTQuant 进一步扩展变换家族。RotateKV 把旋转用到 KV 缓存上,OScaR、OSCAR 针对 2-bit 缓存做旋转与协方差设计。这些方法的共同点是“用等价变换改善量化几何”,但大多针对显式的 per-head Key/Value 表示。MLA 的缓存是共享 content latent 加解耦 RoPE key,变换必须同时满足“content 同时供 K 和 V”“RoPE 变换要与位置旋转对易”两个结构约束,不能直接套用。站内对 QuaRot、SmoothQuant、SpinQuant 和 Hadamard 变换量化 有完整拆解。

低比特 KV 缓存:KIVI 用 per-channel Key、per-token Value 的非对称 2-bit 量化;KVQuant 用 pre-RoPE 逐通道量化、非均匀码本和离群值隔离;PolarQuant、TurboQuant 用极坐标或在线向量量化降低失真;SKVQ 用滑窗保护关键 token。这些方法处理的是“Key 和 Value 分开存”的常规缓存,量化轴的选择(按通道还是按 token)是核心设计问题。KIVI 和 KVQuant 两篇拆解了这些轴选择的统计依据。MLA 把 K/V 的共享部分压成了一个 latent,轴选择的自由度变小,但多了一条独立的 RoPE 路径,问题从“K 和 V 分别怎么量化”变成“两条功能不同的路径怎么各自量化”。

MLA 专用方案:FlashMLA 的 DeepSeek-V3.2 布局是 FP8 content 加 BF16 RoPE;SnapMLA 做 content 量化与执行协同,但保留高精度 RoPE。它们代表“只压大路径、保住小路径”的工程共识。QuantMLA 用误差分析挑战了这个共识:RoPE 路径虽然小,但每单位误差更敏感;只要用对变换和目标,它也能压到 INT4。

QuantMLA 与这些工作的本质区别在于优化对象。已有方法优化的是“缓存重建误差”或“量化后的分布形状”;QuantMLA 优化的是“该路径对最终输出的功能贡献”。content 路径优化 attention 输出,RoPE 路径优化 positional QK;变换空间由路径结构推导,目标函数由误差路径决定。这个“结构决定空间、功能决定目标”的对应关系,是它能把两条路径同时压到 INT4 的方法论基础。

在更长的技术线上,MLA 的缓存压缩还有几条并行路线:DeepSeek-V4 系列用混合稀疏注意力与跨层复用把 KV 规模继续往下压,可参考 DeepSeek-V4 混合注意力 和 V4.1-Flash 的 KV Cache;FP4 缓存、KV 卸载、前缀缓存淘汰分别从数值精度、存储层级和复用策略解决问题。QuantMLA 属于“数值精度”这条线,和结构压缩、存储卸载是正交的,可以叠加使用。

局限与还没解决的问题

论文的结论有明确的适用边界,部署前需要逐条核对。

  • 精度评估覆盖有限。四个模型家族、两套基准,不能覆盖所有 MLA 变体和所有任务。C2R4 在 GLM-4.7-Flash 的 AIME25 上从 63.33% 掉到 46.67%,说明极端压缩下的任务间波动仍然很大;论文没有给出“哪些任务一定安全”的判据,只给出了整体趋势。
  • 服务收益依赖负载形状。5.168 倍来自特定的“五条 128K 输入、1K 输出、缓存刚好溢出”场景。短请求、低并发、高前缀命中率下,容量不是瓶颈,收益会显著缩小。论文也只报告了一次 C4R4 运行与历史 BF16 基线的对比,没有给出跨独立运行的置信区间。
  • 校准有成本。每条路径 300 步、每层独立优化,虽然只用了 128 条序列,但对 61 层的模型仍是一次不小的离线计算。变换是按层学的,换模型、换精度配置都要重新校准;论文没有讨论跨层共享变换或更低成本的近似。
  • 原生执行验证的范围。正确性检查覆盖了缓存表示、动态更新和 token 老化,但论文明确说共享前缀的所有权(shared-prefix ownership)不在验证范围内。真实服务里前缀缓存会带来跨请求的页共享,低比特缓存的生命周期和引用计数需要额外处理。
  • 低比特改变模型行为的风险。论文的伦理声明指出,即使聚合基准分数保持,低比特缓存也可能改变模型的安全行为、校准性和失败模式;部署时应该在具体的模型、精度和服务配置下重新评估,而不能只看平均分。
  • 代码尚未发布。论文写明代码将在接收后公开,目前只能依据论文的描述复现;原生 kernel 的共享内存布局、页映射和 writer 生命周期等细节,仍需要官方实现来确认。

小结

QuantMLA 的起点是一个被工程惯例掩盖的问题:MLA 的 RoPE key cache 只有 64 维,看起来“不值得压”,所以现有方案普遍把它留在 BF16。论文用匹配误差实验证明,缓存大小和功能影响不是一回事:在相同的缓存 NMSE 下,RoPE 路径造成的输出失真比 content 路径高 1.94 到 6.86 倍,六个模型、285 层没有反例。

机理层面,论文把误差路径拆成精确的有限形式:content 误差经过匹配、聚合和交互三项,RoPE 误差只经过位置匹配一项;再用 Jacobian 的瑞利商把局部放大分解成算子敏感度、误差能量分配和方向耦合。等能量干预实验说明,content 路径的误差被“压在”低敏感方向,RoPE 路径没有这层缓冲;只用缓存误差或只用算子迹都预测不了层间差异,必须把误差分配算进去。

方法层面,两条路径各自推导出可离线融合的变换空间:content 用正交旋转加逐通道缩放,利用 RMSNorm 的旋转等变性折进产生侧和消费侧;RoPE 用频率对内的平面旋转加对内绑定缩放,利用与位置旋转的对易性折进 pre-RoPE 投影。目标函数与误差路径对齐:content 重建 attention 输出,RoPE 重建 positional QK,后者还有有限输出上界。所有变换离线融合,推理时零在线开销。

系统层面,原生低比特 kernel 把解包和反量化融进注意力,用 sink4 加 recent128 的 BF16 保护、每 token 单一表示和全局 softmax 保证语义等价;128K 下缓存压缩 3.59 倍,缓存压力场景整任务吞吐提升 5.168 倍。

对做推理系统的人来说,最值得带走的不是某个具体数字,而是两条方法论。第一,量化方案的设计单位应该是“功能路径”,不是“缓存张量”:同一个缓存里,不同路径的误差传播方式不同,目标函数也应该不同。第二,等价变换的价值不只在“改善分布”,还在“能否离线融合”:一个数学上更强的变换,如果必须在每次解码时在线执行,工程上可能不如一个约束更强但能折进参数的小变换家族。QuantMLA 把这两点同时落到了 MLA 这个具体结构上,也给出了一个可以迁移到其他非对称缓存架构的分析模板。

参考资料

  1. QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching
  2. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
  3. DeepSeek-V3 Technical Report
  4. KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
  5. KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
  6. QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs
  7. SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
  8. SpinQuant: LLM Quantization with Learned Rotations
  9. FlashMLA: Efficient Multi-Head Latent Attention Kernels
  10. SnapMLA: Efficient Long-Context MLA Decoding via Hardware-Aware FP8 Quantized Pipelining
  11. Moonlight: Scaling Muon with Distributed Muon for LLM Training
  12. LongCat-Flash Technical Report
  13. Efficient Memory Management for Large Language Model Serving with PagedAttention
  14. RULER: What’s the Real Context Size of Your Long-Context Language Models?
  15. RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations
  16. FlatQuant: Flatness Matters for LLM Quantization
  17. OScaR: The Occam’s Razor for Extreme KV Cache Quantization in LLMs and Beyond

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

QuantMLA 完全拆解:双路径误差归因与 INT4 MLA KV 缓存量化
https://pinghaoyang.com.cn/articles/insights/posts/quantmla-dual-path-kv-quant/
作者
平昊阳
发布于
2026-11-21
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录