XFP：质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE

路线一：线性量化（GPTQ / AWQ / AutoRound）#

线性量化的核心是把权重映射到一个均匀网格上。一个权重 $w$ 的量化与反量化可以写成：

其中 $s$ 是量化步长（scale），$z$ 是零点（zero point），$\hat{w}$ 是重建值。$s$ 和 $z$ 通常按组（group）或按通道（channel）计算，用局部的最大值或分位数来吸收不同位置权重的幅值差异——这就是 per-group / per-channel scaling。整数档位有 $2^N$ 个（4 位就是 16 档），一旦 $s$ 定死，网格的分辨率就定死了。

这条路线上的三个代表作各用不同方式补偿量化误差：

• GPTQ 用 Hessian 矩阵（二阶导信息）逐列做误差补偿：量化完一列权重后，把这一列引入的误差按 Hessian 逆近似分摊到尚未量化的列上，让后续列”吸收”前面列的错误。代价是需要校准数据和逐层的矩阵求逆计算。
• AWQ 观察到不同权重通道对激活的影响不同（salient channels），于是按激活统计量给重要通道乘上保护性缩放，把量化误差从重要通道转移到不重要的通道。它不需要 Hessian，但仍需要校准数据。
• AutoRound 把”四舍五入”改成”学习舍入”：对每个权重学习”向上还是向下取整”的二元决策，用带符号梯度下降在小校准集上优化，几分钟内就能得到接近无损的 INT4 质量。独立评测显示 AutoRound INT4 的精度经常持平甚至超过有专用硬件加持的 NVFP4。

图：AWQ 的激活感知量化思路——只保护约 1% 的显著权重通道（salient channels）：不是保留 FP16，而是给这些通道乘保护性缩放、同时反缩放对应激活，把量化误差转移到不重要的通道。（图源：AWQ 论文 / llm-awq 官方仓库 overview 图）

三种方法共同的隐含假设是：所有层、所有专家、所有投影矩阵都使用同一个均匀网格模板。离群值（outlier）不是被分离出来，而是靠调整 $s$ 或误差补偿去”消化”。这在离群值温和时成立，在离群值极端时失效——下面用具体数字说明为什么。

设想一个权重矩阵，99% 的权重落在 $\pm 1\sigma$ 之内，但存在一个 $49\sigma$ 的极端离群值（这不是虚构的数字：论文在 GLM-4.7-Flash 的 kv_a_proj 层实测到 $49\sigma$ 的极值，见论文附录 B）。为了让这个离群值能被表示，$s$ 必须覆盖 $\pm 50\sigma$ 的范围。4 位有 15 个非零档位，步长约为 $100\sigma / 15 \approx 6.7\sigma$——也就是说，落在 $\pm 1\sigma$ 区间内的绝大多数权重，离它们最近的档位只有”零”这一个档位。一个离群值把整个矩阵的主体权重压成了零。per-group scaling 能缓解但不能根治：离群值所在的组（128 个权重）整组遭殃。论文把这称为”离群值驱动的缩放让主体分布只剩一个可用的非零档位”，这是 4 位质量损失的第一大来源。

路线二：硬件格式（NVFP4 / MXFP4）#

第二条路线是给硬件定制的对数式格式。NVIDIA 在 Blackwell 上主推的 NVFP4 把 4 位拆成 1 位符号 + 2 位指数 + 1 位尾数（E2M1），每 16 个权重共享一个 FP8 缩放因子。E2M1 的所有取值组合恰好构成一个固定的 16 元码本——所以 XFP 论文说”NVFP4 的浮点之名指的是码本条目，而不是表示本身”。MXFP4 的思路类似：每个元素 1 位符号 + 2 位尾数（E2M1 形式），每 32 个元素共享一个 8 位指数，由 OCP 的 Microscaling 规范定义。

图：NVFP4 与 MXFP4 的块缩放对比——NVFP4 用 FP8 E4M3 分数缩放因子（可贴合每个 block 的取值分布），MXFP4 用 2 的幂缩放（UE8M0），分数缩放的量化误差更低。（图源：NVIDIA 官方博客 Introducing NVFP4）

这类格式的问题有两个，而且都很要命：

第一，码本是全宇宙统一的。 同一个 16 元码本套在每一个层、每一个模型、每一种架构上，不管这一层的权重分布是什么形状。注意力层那 0.3% 的离群值吃掉大部分表示预算，高斯分布的专家层却被过度供给——问题与路线一一模一样。

第二，硬件加速只存在于数据中心。 NVFP4 的专用 Tensor Core 路径只在数据中心级 Blackwell（SM100+，即 B100/B200）上可用。XFP 论文给出了工作站级 Blackwell（SM120/SM121）上的实际生态状况，信息量很大：CUTLASS 的 NVFP4 MoE kernel 在 SM120 上因 TMA work-sharing 的 grouped-GEMM 初始化错误直接失败；FlashInfer 无法为 sm120f 家族目标编译（FP4 转换 PTX 指令所需的 target 不支持）；vLLM 的后端选择逻辑不认识 SM120 是”NVFP4 可用”的架构，静默回退到 Marlin INT4。社区陆续提交补丁之后，NVFP4 checkpoint 总算能在 RTX PRO 6000 和 DGX Spark 上跑起来，但即使在修复之后，SM120 上的原生 NVFP4 Tensor Core 路径在 MoE 负载上仍然跑不过 Marlin W4A16 回退路径，因为 grouped-GEMM 的特化尚未完成。

结论很反直觉但很清晰：在最需要压缩的工作站层级，NVFP4 的硬件优势恰好不可用；而它那个固定码本在任何硬件上都一样粗糙。独立评测（如 The Kaitchup 的 NVFP4 实测）也普遍发现 NVFP4 的精度不如同位的校准感知方法（AutoRound、AWQ）——它的优势是吞吐，而这个吞吐优势在工作站上拿不到。

路线三：码本量化（AQLM / QuIP# / SqueezeLLM / K-quants）#

第三条路线放弃均匀网格，改用学习出来的码本：每个权重不存数值，只存一个指向码本条目的小整数索引。这类方法在学术上做到了 2 位的极限压缩，但各有代价：

• AQLM 把权重向量表示为多个（通常 2 个）学习码本条目的和，2 位质量很好，但多码本优化依赖校准数据且计算昂贵。
• QuIP#/QTIP 先用随机正交变换（incoherence processing）把离群值的能量”摊平”到所有权重上，再做 2 位量化；代价是 Hessian 计算和解码端的正交变换开销。
• SqueezeLLM 和 SpQR 与 XFP 在结构上最接近：都是”稀疏高精度分量 + 密集低精度分量”的分解。区别在于判定准则——SpQR 用 Hessian 判断哪些权重”敏感”，XFP 直接用权重分布本身（离群值标准）判断，把 Hessian 完全消掉。另一个区别是密集分量的形式：SpQR 用固定线性量化器，XFP 用每组学习码本。
• 工程上最普及的码本量化其实是 llama.cpp 的 K-quants（Q2_K 到 Q6_K）：分块码本、CPU 推理，是”分块码本量化在大规模部署中”最接近 XFP 的先例，但 K-quants 的码本是固定公式生成而非学习的，也没有离群值分离。

图：SqueezeLLM 的 Dense-and-Sparse 分解——权重矩阵被拆成可激进量化的密集码本分量 + 保留敏感/离群权重的稀疏 FP16 分量，与 XFP 的 $\mathbf{W}_{\text{outlier}} + \mathbf{W}_{\text{codebook}}$ 结构同源。（图源：SqueezeLLM 论文 / 官方仓库）

三个结构性问题#

把三条路线的问题归纳起来，XFP 论文给出了三个结构性问题（P1-P3），整个方法就是围绕它们设计的：

• P1 离群值问题：Transformer 权重矩阵是重尾分布，0.3%–2% 的权重占据远超主体的幅值范围。线性量化靠单个 scale 容纳整个范围，牺牲主体分辨率；极端情况下主体只剩一个可用非零档位。
• P2 MoE 异质性问题：MoE 模型里不同组件类别的权重分布差异巨大。实测发现路由专家（routed experts）对粗量化的容忍度远高于注意力和共享专家——一个全局统一的质量标准无法利用这种不对称性。
• P3 码本存储问题：每通道学习码本占用的共享内存（SMEM）与输出维度成正比。工作站 GPU 每个 CTA 只有 99 KB SMEM，这会挤占激活行缓存，迫使 kernel 过早拆分 $K$ 维，限制单流解码可达的模型规模。

V2：每通道 Lloyd 码本#

V2 模式下，每个输出通道拥有一个独立的 FP16 码本，包含 $2^N$ 个条目，通过逐通道 Lloyd 迭代学习（$N$ 支持 2 到 6）。每层的存储构成三部分：

• 打包索引：每个权重 $N$ 位；
• 码本：每输出通道 $2^N$ 个 FP16 条目；
• 离群值三元组：(行号 int64, 列号 int64, 值 fp16)，每个离群值 18 字节。

在默认的 2% 离群值上限下，离群值存储为每权重增加 $0.02 \times 18 = 0.36$ 字节。这个数字后面还会出现——它是”位宽 vs 离群值”权衡的定价基准。

子字节打包#

$N$ 位索引不是逐元素存满字节，而是按机器字打包。打包方案如下表：

V2a 有一个 V2 没有的硬约束：128 权重组必须能被”每字值数”整除。默认组大小 $g=128$ 下，$N=3$ 因为 $128 \bmod 10 \neq 0$ 被排除；$N=5,6$ 则超出 warp 级查表（LUT）预算。所以 V2a 的候选集只剩 $\{2,4\}$——这个看似无伤大雅的细节，正是后面”双阈值”设计诞生的直接原因。

V2a：共享码本库#

V2a 把”每通道一个码本”换成”每层一个共享码本库”：$L=32$ 个码本（默认值），每个 128 权重组分配一个 5 位索引指向最匹配的库条目，外加每组的 scale 和中点（mid-point）。

动机是纯工程性的——SMEM 预算。工作站级 Blackwell（SM120/SM121）每 CTA 只有 99 KB 可选 SMEM，不到数据中心 SM（228 KB）的一半。V2 的每通道码本占用的 SMEM 与输出维度成正比；而 V2a 一个 $L=32$、$N=4$ 的码本库只有 $32 \times 16 \times 2 = 1$ KB，与维度无关。省下的预算把激活行缓存的上限从 V2 的 $K \le 8192$ 抬到 $K \le 32768$，代价是每组的码本精度略降（一组共享一个库条目，而不是每通道专属码本）。

码本库的学习方式（LibFit）也值得一提：先按 V2 的方式学出每通道 Lloyd 码本，然后对码本本身再跑一轮 Lloyd 迭代，把全层的码本浓缩成 $L=32$ 个代表性码本。这是”码本的码本”——两级聚类的思想。

Kernel 侧的 lane 几何遵循同一套算术：$\text{LANES\_PER\_GROUP} = 128 / \text{每字值数}$。$N=4$ 时每组 16 条 lane、每次 warp 迭代处理 2 个组；$N=2$ 时每组 8 条 lane、每次处理 4 个组。

有效位宽的账可以精确算出来：索引 $N$ 位，加上每 128 权重分摊的 5 位库分配 + 16 位 scale + 16 位中点：

论文给出的数字是 V2a 在 $N=2$ 时约 2.31 有效位、$N=4$ 时约 4.31 有效位（均不含离群值残差）。这个 0.29 位的常数开销，就是”共享库”模式的固定入场费。

离群值提取#

对每个权重矩阵 $\mathbf{W}$：先计算均值 $\mu$ 和标准差 $\sigma$，把满足以下条件的权重提取进稀疏 FP16 残差：

默认 $k=4.0$，且提取比例硬性封顶 2%（超过时只取幅值最大的 2%）。被提取的位置在主体矩阵中用 $\mu$ 回填——这个细节很重要：回填均值而不是零，能让主体分布保持完整形状，Lloyd 迭代面对的是一份”干净”的数据。$k=4.0$ 的选择也符合直觉：高斯分布下 $|z|>4\sigma$ 的概率只有约 0.006%，所以对接近高斯的层几乎不触发；只有重尾层才会真正用到 2% 的上限。

Lloyd 迭代#

码本学习用的是教科书级的 Lloyd 算法（Lloyd-Max 量化器，1982 年 Lloyd 的经典论文，本质是标量版 k-means）。初始化不是随机采样，而是按 CDF 均匀分位点取 $2^N$ 个初始条目——每个初始条目拥有相等的概率质量，这比随机初始化稳定得多。随后交替执行 20 轮”最近邻分配 + 条件均值更新”，收敛到局部最优码本：

迭代轮数有讲究：V2 默认 5 轮，但 V2a 的 MoE LibFit 用 20 轮（XFP_MOE_LLOYD_ITERS=20）。原因很具体：欠收敛的质心会系统性低估 xfp2 的质量，把自动选位推向更保守的 xfp4——20 轮是 397B 模型上让选位稳定的经验值。

自动选位（Auto-Select）#

自动选位算法（论文 Algorithm 1）把质量地板变成位宽决策：

1
def auto_select(W, layer_class, candidates, tau_strict, tau_lazy):
2
    W_bulk, W_outlier = extract_outliers(W, k=4.0, cap=0.02)  # 分离离群值
3
    tau = tau_lazy if layer_class in ROUTED_EXPERT else tau_strict
4
    for N in sorted(candidates):            # V2: {2,3,4}; V2a: {2,4}
5
        cb = learn_codebook(W_bulk, 2**N)   # Lloyd 迭代（V2a 走 LibFit）
6
        W_hat = reconstruct(cb, W_outlier)  # 码本查表 + 离群值回填
7
        cos = per_channel_cosine(W, W_hat)
8
        if median(cos) >= tau:              # 中位数门控
9
            return N
10
    return max(candidates)                  # 兜底：全候选都不达标

逐通道余弦相似度定义为（对每个输出通道 $i$）：

两个设计细节值得解释”为什么”：

• 为什么用中位数聚合而不是均值或最小值？ 均值对离群通道敏感——个别重建极差的通道会拉低全层分数；最小值则过于保守，在 $N=2$ 时几乎所有层都过不了关。中位数是一个稳健的折中：一半通道达标即算通过。
• 为什么是余弦相似度而不是 MSE？ MSE 对幅值敏感，余弦对方向敏感。在 GEMM $\mathbf{y} = \mathbf{x} \cdot \mathbf{W}$ 中，方向保真比幅值保真更关键——激活侧有可学习的 norm 吸收幅值缩放。论文给了一个很有说服力的经验证据：路由专家上 XFP2 的 MSE 比 XFP4 高 12 倍，但数学题的准确率完全相同。

双阈值：一个打包约束逼出来的设计#

两阈值机制不是拍脑袋的设计，而是被 V2a 的打包约束逼出来的。早期 XFP 用单一阈值（$\tau = 0.98$），在 35B 和 122B 上完全够用——因为 V2 的候选集 $\{2,3,4\}$ 里有 $N=3$ 这个中间选项：路由专家落到 xfp3、注意力升到 xfp4，没有哪个类别被迫在”过粗”和”过精”之间二选一。

但 V2a 拿掉了 $N=3$（128 权重组的打包约束），候选集塌缩为 $\{2,4\}$。在 397B 模型上这意味着每个层类别面对二元选择：约 2.31 有效位或约 4.31 有效位。单阈值下只有两种结局——100% xfp4（192 GB 显存放不下）或接近 100% xfp2（数学能力崩溃）。双阈值把这个二元困境解耦成两个统治域：

• $\tau_{\text{strict}}$（默认 0.96）统治注意力、线性注意力和共享专家投影；
• $\tau_{\text{lazy}}$（默认 0.93）统治路由专家路径。

阈值间隔控制路由专家中 xfp2 与 xfp4 的比例，是操作者在固定部署目标上调节”内存 vs 质量”的唯一旋钮。环境变量为 XFP_MIN_COS_STRICT / XFP_MIN_COS_LAZY，机制对 V2 和 V2a 通用。

MoE 采样：4 个专家代替全量#

397B 每层 512 个专家，对每个专家跑 Lloyd + 余弦检验的开销不可接受。XFP 的做法是只对 4 个拼接起来的专家跑自动选位，把选出的位宽应用到全部专家。这个近似在三个模型上做了离线验证：GLM-4.7-Flash（64 专家）0% 不一致、Qwen-35B（256 专家）0% 不一致、Qwen-122B（256 专家）11.5% 不一致——而不一致的位宽决策对数学能力零影响，因为稀疏离群值路径吸收了误差。178 个已验证的 MoE 块中，在线位宽决策与离线预测 100% 一致。

编码成本#

自动选位在 1 分钟内完成。完整的一次量化加载（Lloyd 拟合/LibFit + 离群值提取 + 子字节打包）：Qwen3.5-35B 约 10 分钟、122B 约 25 分钟（V2）；122B 约 30 分钟、397B 约 55 分钟（V2a），单张 RTX PRO 6000 上完成。打包结果缓存到磁盘，之后加载是 I/O 瓶颈。作为对照，GPTQ 的校准时间与之相当或更长，还多出数据依赖。对”量化加载”这种每次部署都要跑一遍的流程，分钟级且无校准数据的特性是实打实的运维优势。

平台与协议#

两个工作站级 Blackwell 平台：DGX Spark（GB10、SM121、统一内存，单 GPU）与 RTX PRO 6000 Blackwell（SM120、$2\times96$ GB、TP=2）。模型覆盖 GLM-4.7-Flash（30B、MoE-64、纯自注意力）、Qwen3.5-35B-A3B（35B、MoE-256）、Qwen3.5-122B-A10B（122B、MoE-256、GatedDeltaNet + 自注意力混合）走 V2；Qwen3.5-397B-A17B（397B、MoE-512）走 V2a。精度评测用 lm-eval-harness 0.4.11：GSM8K 5-shot、1319 题/seed、3 个 seed，同时报告 flexible-extract 和 strict-match。

一个容易被忽略的合规性检查：所有 XFP 配置都用 FP8 KV cache 和 FP8 LM head。论文先验证了这条基础设施不引入混淆损失——Qwen3.5-35B 在 bf16 与 fp8 KV/LM-head 管线下的 GSM8K strict-match 分别为 76.12% 和 76.35%（$\Delta = 0.2$pp，在单 seed 方差内），FP8 基础设施是精度中性的。

主结果#

122B 模型在约 3.97 有效位下跑到 138 tok/s，GSM8K 94.49% 的 strict-match 与 BF16 基线同级——质量验证通过，压缩率约 4 倍（122B × 2 字节 ≈ 244 GB → 约 60 GB，TP=2 下每卡 57/96 GiB）。

自动选位有个容易被忽略的性质：它在不同模型上收敛到不同的、各自合理的剖面：GLM-4.7-Flash 上注意力 233 层选 xfp3、2 层升 xfp4，路由专家和共享专家全 xfp3，整体约 3.0 有效位；Qwen3.5-122B 上 GatedDeltaNet 和共享层选 xfp3、路由专家升 xfp4（其分布更宽），整体约 3.97 有效位。算法完全一致，结论不同——因为分布不同。这正是”按分布说话”的量化器应有的行为。

离群值分离的消融#

离群值分离到底起了多大作用？论文在 GLM-4.7-Flash 上做了逐层类别的消融（XFP3、$k=4$），报告”bulk 码本重建”与”加离群值路径后”的余弦与 MSE 变化：

MSE 比 = 仅码本重建的 MSE / 加离群值路径后的 MSE（>1× 表示离群值分离降低了误差）。结论一目了然：离群值分离对注意力层是决定性的（MSE 改善 1.90×），对路由专家几乎无影响（1.02×）。跨模型对比更说明问题：GLM 把灾难性离群值（$49\sigma$）集中在 kv_a_proj 少数层，Qwen 把温和的重尾均匀分布在各层；相应地，Qwen 的路由专家对离群值分离的响应强度是 GLM 的 6.7 倍。“算法一致、剖面不同”的根源就是分布不同。

对 Marlin INT4：+49% 的受控对比#

吞吐的基准是 Marlin——NVIDIA GPU 上优化得最充分的 INT4 反量化 kernel，服务 AutoRound INT4 checkpoint。同一台 RTX PRO 6000、TP=1 的受控测量：

TP=1 单流解码 XFP 比 Marlin 快 49%（110 vs 73.6 tok/s），精度差 0.65pp，落在 Lloyd 初始化抖动的包络内（同规模下约 0.67pp 标准差）；TP=2 扩展到 138 tok/s，相对 TP=1 Marlin 是 +87%。DGX Spark 上的跨平台数据给出同样的方向：长/中输出上 XFP 比 Marlin 快 16–18%（29.9 vs 25.8、34.8 vs 29.6 tok/s）。V2a 存储模式的探针测量中，122B 上 108.1 tok/s 对 Marlin 73.6（+47%），GLM-4.7-Flash 上则基本打平（118.1 vs 121.1，−2.5%）。

图：Qwen3.5-122B-A10B 上 XFP 对 Marlin INT4 的受控对比——柱状为单流解码 tok/s，圆点为 GSM8K strict-match（3 seeds，均值 ± std）。（图源：XFP 论文 Figure 3）

有两个诚实性说明要放在这里。其一，论文把 +49% 归因于”3.97 vs 4.0 有效位 → 每 token 读更少字节”，但这个解释并不完整：全模型 3.97 对 4.0 只差 0.75% 的字节，单靠它解释不了 49%。更合理的拆解是分路径看——解码关键路径（GatedDeltaNet + 注意力 + 共享层）上 XFP 是 3 位索引，Marlin 是 4 位 + 缩放因子（4.125 位/权重），字节差约 27%；再叠加融合 kernel 免去 Marlin 的反量化-重打包流水和 bf16/fp16 往返转换。论文没有逐项拆解这 49% 的构成，读者应把该数字理解为”这套 kernel 实现在这套硬件上的实测差距”而非纯位宽收益。其二，Marlin 侧的 GSM8K 数字来自 AutoRound 校准配置，论文明确声明这是一份记录性数据点，不是对两种方法的裁决。

另一个有意思的观察：138 tok/s 时 GPU 利用率 98% 但功耗只有 240 W（TDP 600 W）。高利用率 + 低功耗是内存带宽受限的典型指纹——SM 在等 DRAM，Tensor Core 大量闲置；单流路径里 kernel 启动开销主导，计算侧仍有大量未被利用的余量。这也解释了为什么论文反复声明”大规模并发批量服务不在本文范围”：并发场景需要完全不同的 kernel 调度策略。

三约束定义搜索空间#

搜索空间由三条边界界定，缺一不可：

1. 操作者阈值对 $(\tau_{\text{strict}}, \tau_{\text{lazy}})$——位宽由它们派生，不是直接指定；
2. OOM 边界（加载期）：阈值过高 → 更多路由专家组升入 xfp4 → 编码期的 Lloyd 迭代内存尖峰冲破 96 GB/卡。关键在于尖峰发生在量化加载阶段而非服务稳态——把 gpu_memory_utilization 调到 0.97、KV cache 压到 2 GB、max_model_len 砍到 8192 都救不了，因为服务侧分配还没开始就已 OOM。H1.7（$\tau_{\text{lazy}}=0.935$）三次加载尝试全部死在编码尖峰上；
3. 垃圾输出边界（生成期）：阈值过低 → 路由专家接近全 xfp2 → 位宽重建在数值上通过余弦门，但生成退化成重复 token。余弦相似度是指示器，不是质量保证——垃圾边界严格位于”余弦通过区”的内部，是”包络必须靠评测验证，不能只靠指示器”的经验提醒。

服务配置本身也值得记录：TP=2、BF16 KV cache（FlashInfer 的 FP8-KV 与该模型 head_dim=256 的投影不兼容，Triton 注意力后端 + BF16 KV 是能跑通的组合）、XFP_GROUP_SIZE=128、XFP_MOE_LLOYD_ITERS=20、LM head FP8、max_model_len=65536、关闭 custom all-reduce（SM120 在 TP=2 下的已知问题）。

1
# H-Process 搜索中的关键环境变量（论文 §6.3）
2
XFP_MIN_COS_STRICT=0.96   # 注意力/线性注意力/共享专家：严格地板
3
XFP_MIN_COS_LAZY=0.93     # 路由专家：宽松地板（H1.5 工作点）
4
XFP_GROUP_SIZE=128
5
XFP_MOE_LLOYD_ITERS=20    # V2a MoE LibFit 的 Lloyd 迭代轮数

质量梯度：窄窗口里的精细调节#

$\tau_{\text{strict}}$ 全程钉在 0.96，扫 $\tau_{\text{lazy}}$：

窗口窄得惊人：从垃圾输出（0.80）到加载 OOM（0.935）只有 0.135 的间隔；0.92 到 0.93 的一个百分点，代价是 11 GiB/卡、回报是 +8pp GSM8K。H1.5（$\tau_{\text{lazy}}=0.93$、约 3.4 有效位）是全量评测的工作点：66.72% GSM8K strict-match（1319 题单 seed），注意这个数字远低于 122B 的 94.49%——3.4 位对 397B 是”可用但明显折损”的档位，论文对此没有粉饰。

H1.5 的逐类位宽分配呈现清晰的结构：100% 的自注意力、线性注意力和共享专家投影升入 xfp4；路由专家多数保持 xfp2；路由路径上的 xfp4 升级集中在第 1–3 层（GatedDeltaNet 初始过渡区）和第 13 层，且跨运行稳定。这与消融数据一致：路由专家接近高斯的主体分布可以承受激进量化，注意力不能。

吞吐：短输出 73.4 tok/s、中等 98.2 tok/s、长输出 100.9 tok/s（1500 token 输出）。一个 397B 模型以 100 tok/s 的单流速度在两张工作站卡上跑——这在 NVFP4 时代的工作站上是不可想象的。

与专家剪枝路线对比：RIY#

同一硬件约束还有另一条路线：不压位宽，砍专家。论文用 AutoRound INT4 + REAP 风格校准感知专家移除（REAP-it-Yourself 工作流）做了同模型同硬件对比：

两条路线在不同轴上到达同一个包络：XFP+H 用每权重的位换内存、保留全部专家；RIY 用专家数量换内存、保留 4 位精度。论文的立场很克制——“都是对同一约束的合法回应”。但数据方向明确：在这个模型上，H-Process 以更低的内存（H1 的 72 GiB/卡 vs RIY-24% 的 80 GiB/卡）拿到更高的精度（52% vs 44%），H1.5 的长输出吞吐更是 RIY 的两倍（100.9 vs ≈50 tok/s），且不依赖离线校准集对专家效用的判断——REAP 的软肋恰在这里：离线删除的专家可能对某个校准集没覆盖的工作负载至关重要，而 XFP 一个专家都不丢。

硬件投影给这份工作划定了边界：H1 稳态在 $2\times96$ GB 上从容（每卡 6 GiB 余量），H1.5 勉强（余量趋零）；H100 80 GB TP=2 两个剖面都放不下，H200 141 GB TP=2 有约 51 GiB 余量可从容服务 H1.5；单卡 DGX Spark（120 GB 统一内存）在当前位宽下不成立。这份工作的定位因此非常精确：工作站级、单用户、超大规模 MoE 的本地推理。