正在获取所在地区…
正在读取天气
音乐
暂未播放
I-LLM 完全拆解:让整个 LLM 前向只用整数——FSBR 平滑、DI-MatMul 动态缩放与移位版 Softmax/Exp/RMSNorm
背景与问题定义
伪量化:省了带宽,没省算力
大模型推理的量化实践里,绝大多数「4-bit 模型」在 GPU 上是这样一个流程:权重以 INT4 的形式存在显存里,权重搬运到计算单元附近后,先把 INT4 反量化成 FP16/BF16,再和 FP16 的激活做浮点矩阵乘。这种方案通常被称为「模拟量化」(simulated quantization)或「伪量化」(fake quantization):量化只发生在存储和传输环节,真正的乘加依然是浮点。
它确实有效——权重体积缩小到四分之一,显存带宽压力骤降,而解码阶段的大语言模型本就是显存带宽受限的工作负载。但它有一个天花板:计算本身没有被加速。当负载从带宽受限转向计算受限(长序列的预填充、大 batch 的解码),浮点反量化、浮点矩阵乘、浮点非线性的总成本并不会因为权重是 4-bit 而下降。额外引入的反量化指令甚至会成为开销。
要真正减少计算量,必须让乘加本身运行在整数单元上。这正是「全整数推理」(integer-only inference)的思路:矩阵乘是整数乘加,Softmax、归一化、激活函数等非线性算子也全部用整数运算和移位实现,整个前向过程中不存在任何浮点指令。
整数运算的收益来自三个层面。其一,能耗与面积:整数乘加单元的硬件成本远低于浮点单元,同样吞吐下功耗更低。其二,指令成本:整数单元在相同位宽下的峰值算力通常更高,例如支持整数乘加的 GPU 低比特算力远高于同宽度的浮点算力。其三,部署面:大量端侧处理器(ARM Cortex-M 系列、GreenWaves GAP 系列、Google Edge TPU 一类)根本没有独立的浮点单元,或者浮点单元精度受限、速度极慢,全整数推理是它们能跑 LLM 的前提。
非线性算子才是真正的拦路虎
把矩阵乘改成整数运算并不难——有大量 CNN 时代的成熟方案可以借鉴。难点在于 LLM 的其余部分。以 LLaMA 系结构为例,一个 transformer block 里除了两次注意力 GEMM 和三次 FFN GEMM 之外,还有:
- RMSNorm:需要计算均方根,也就是平方、求和、除法和开方,全部是浮点运算;
- RoPE:需要预计算的正余弦表;
- Softmax:需要指数函数和除法,指数是超越函数;
- SwiGLU:包含 sigmoid,同样是超越函数;
- 残差加法与门控乘法。
这些算子的数据量不大,但每个 token 每一层都要经过它们。如果在这些算子上留下浮点运算,整个前向的 dtype 会在整数与浮点之间反复切换,每切换一次就要做一次反量化(整数到浮点的缩放)和一次再量化(浮点到整数的缩放),切换本身的开销足以吞掉矩阵乘省下来的收益,而且切换的边界还需要额外的数据搬运。
所以,「全整数推理」的本质诉求是:连这些非线性算子也要在整数域实现,且精度不能塌。
前人的全整数方案为什么搬不动 LLM
在 I-LLM 之前,全整数推理已经有两个重要的里程碑。最早是 2018 年 Google 团队提出的量化感知训练与推理方案,奠定了「用整数仿射变换 + dyadic 数(形如 m/2k 的有理数)近似浮点缩放」的基础;随后是 I-BERT,它把这一套推广到了 BERT 类 Transformer,用查表加多项式拟合实现 GELU、Softmax 与 LayerNorm 的整数版本。
这两项工作都存在难以直接套用到 LLM 上的问题:
- 结构不匹配:I-BERT 面向 BERT 式结构,没有 SwiGLU 门控,也没有 RMSNorm(RMSNorm 少了减均值这一步,且缺少居中步骤导致跨通道差异更严重)。
- 精度崩塌:把 I-BERT 的算子套到 LLaMA 上,即使把不支持的算子(如 SwiGLU、RMSNorm)放回全精度执行,精度依然大幅下降。论文给出的对照是:LLaMA-7B 在 W4A4 下,用 I-BERT 式整数方案时,WikiText2 困惑度达到了数以百万计的水平——模型基本等于被毁掉了。
- 位宽只到 8-bit:CNN 时代的全整数方案都是以 W8A8 为目标设计的;而 LLM 的权重与激活体积意味着 4-bit 才是有意义的战场,4-bit 下整数方案还完全没有验证过。
失效的根因,论文给出了一个很清晰的诊断:LLM 的激活值在通道维度和 token 维度上都存在剧烈波动,而整数量化参数是全局共享的常数,无法跟上这种波动。 下面分别看这两个维度。
失效根因:跨通道与跨 token 的双重波动
跨通道波动:少数通道的离群值撑大了整个 scale
沿用对称或非对称均匀量化的定义,激活 x 量化为整数 xI 的公式为
xI=clamp(⌊sx⌉+zpI, 0, 2nI−1),s=2nI−1xmax−xmin其中 s 是量化步长(也叫 scale),zpI 是零点,nI 是位宽。所谓「通道」(channel)指的是一层线性输出的特征维度,每个通道对应一个神经元、一组权重列。「跨通道波动」是说:同一位置的不同通道,输出量级差异巨大。LLM 里普遍存在「超级通道」(outlier channel)——少数几个通道的激活值是其余通道的十几倍到几十倍。

这是论文图 1 的诊断结果:横轴与纵轴分别对应 token 维度与通道维度,颜色深浅代表激活的数值大小。可以看到,通道方向的竖条纹意味着同一通道在不同 token 上的量级基本一致,而某些通道整列明显偏深;token 方向的分布也不均匀。两者叠加的结果是:任何一组全局共享的量化参数都无法同时覆盖所有通道与所有 token,量化误差必然在某一个维度上集中爆发。
如果按一个全局 scale 量化,xmax 由那个超级通道决定,其余大部分通道的数值只能落在极少几个量化格点里,精度被离群通道「吃掉」了。一个常见的缓解手段是逐通道量化(per-channel scale),即每一列权重、每一个通道配一个独立 scale。但逐通道量化在硬件上并不免费:矩阵乘时 GEMM 的累加器要对每列乘不同的缩放因子,通用整数 GEMM 的累加-缩放结构通常只支持单一输出 scale,或者对逐通道支持很差。
更重要的是,问题不仅在线性层。RMSNorm 的输出天然带有跨通道差异——因为它不做减均值居中,每个通道的增益都由自身均方根决定。SwiGLU 的门控分支和线性分支量级也可能完全不同。这些非线性算子的输出如果再被统一量化,误差会沿着残差连接一路累积。
跨 token 波动:同一个通道,不同 token 的量级差几十倍
即便解决了跨通道问题,还有第二个维度。激活值在序列维度上(每个 token 一行)同样剧烈波动:一个 token 的激活可能非常稀疏小量级,另一个 token 可能是几个大峰值的组合。图 6(原文附录)显示,LLaMA 的激活即使在跨通道平滑之后,在 token 方向依然存在显著差异。

图 6 的上下两半正是 FSBR 前后的 QKV 输出对比:上半部分是原始分布,通道之间的量级差拉得很开;下半部分经过整体平滑后,各通道的数值被拉到相近的区间。即便做了这一步,token 方向的波动仍然存在,所以还需要 DI-MatMul 的动态量化来处理剩余差异。
静态量化(static quantization)用校准集收集的统计量固定 scale,假设推理时的分布与校准集相似。这个假设在 LLM 上不成立:输入范围随 token 变化太大,校准集之外的数据会严重裁断或过度量化。动态量化(dynamic quantization)为每个 token 现场计算 scale,能适应这种变化,但标准的动态量化流程需要浮点运算(计算最大最小值后除以 2n−1,再乘回去),这与「全整数」的目标直接冲突。
这种矛盾是 I-LLM 需要正面回答的核心问题:能否在运行时只用整数运算,为每个 token 动态计算出 scale 与零点?
非线性的额外障碍
除了两个维度的波动,非线性算子还有自己的困难:
- Softmax 输入的离群值:注意力分数往往由少数几个大值主导,其余值很小。用统一的固定范围量化,小值全部变零;而 Softmax 对小数极敏感,e−20 已经接近零,但 e−3 到 e0 区间内的差异对最终概率影响巨大。
- 指数函数的超越性:ex 无法用有限次整数乘加精确计算,传统做法是查表(LUT)或多项式拟合(I-BERT 用二次拟合),前者依赖大表、访存开销大,后者乘法次数多、精度受拟合区间限制。
- 开方与除法:RMSNorm 需要 ,Softmax 需要除法,SwiGLU 的 sigmoid 也需要除法,通用整数 ALU 一般只提供整数除法,开方需要专门的迭代算法,且迭代次数会直接影响精度与延迟。
到这里,I-LLM 的方法轮廓已经清楚:用 FSBR 处理跨通道波动,用 DI-MatMul 处理跨 token 波动,用三个 DI 系列算子替换非线性浮点运算,并把所有缩放参数改成 dyadic 数的整数形式以彻底消除浮点。下面逐一说清楚每个部件怎么设计、为什么这么设计。
整体架构:一个 transformer block 的整数前向
先看 I-LLM 修改后的 transformer block 全景(原文图 5)。图左部分是 FSBR 的几种平滑范式,图右部分是整数算子执行流水线(原文把它放在同一张图里,对照着看)。

这是原文图 5,理解全文的主干都在这里,逐块拆解如下:
- 左侧的四个平滑范式:并行线性-线性(Q/K/V 三投影共享输入)、串行线性-规约(Linear 后接 RMSNorm)、串行线性-线性(FFN 两级线性)、非线性激活平滑(SwiGLU 的输入平滑)。前三个是线性的等价变换,很容易推导;第四个涉及 sigmoid,要先把 SiLU 拆成 x⋅σ(x) 才能做等价变换。FSBR 的「Fully」就是「覆盖所有这些位置」的意思。
- 右侧的执行流水线:线性算子走「DI-Quant(整数动态量化)→ 整数 MatMul → 输出缩放(dyadic 移位)→ DI-Quant」,非线性算子走「DI-Exp / DI-ClippedSoftmax / DI-Norm / DI-SwiGLU」的移位实现。所有 scale 参数以 mI/2kI 的整数对形式携带,整个流水线中不存在 float 变量。
与常规量化方法的根本差别,可以看原文图 3 的对比:

图 3 的上半部分是典型的 LLM 量化执行:整数权重从存储中取出后,先反量化成 FP,激活也可能被量化成整数再反量化回来,然后做 FP 矩阵乘,输出以 FP 形式存放,接着 FP 的 Softmax 与 RMSNorm。整个过程里,整数只存在于存储边界,计算核心全是浮点。
下半部分是 I-LLM:量化后的激活直接进入整数 MatMul,累加结果通过整数移位完成的输出缩放后再量化成下一层的整数输入;Softmax 与 RMSNorm 在整数输入上直接计算出整数输出,携带各自的 dyadic scale。两条路径上的数值格式完全不同:前者中间态是 FP16/BF16,后者全程是 INT8 或 INT4 加上一组整数缩放参数。
这个对照解释了「伪量化 + 整数存储」为何不能替代全整数推理。前者省掉的是显存带宽,在解码这种带宽受限场景下收益明显;后者省掉的是计算单元,在计算受限场景、没有 FPU 的边缘硬件上才有决定性的价值。两者并不冲突,但目标不同。
FSBR 正是用来在量化之前把激活分布「压平」、让整数统一量化成为可能的部件,具体机制见后文。
一个解码 step 的整数账本
把上面的部件放回一次完整的自回归解码,能更清楚地看到「全整数」到底意味着什么。以 LLaMA 系的一个 block 为例,数据流与每一步的数值格式如下:
| 步骤 | 计算 | I-LLM 下的执行形式 | 携带的量化参数 |
|---|---|---|---|
| 1 | RMSNorm | DI-Norm(整数平方和、逐位开方) | 输入逐通道 dyadic、输出 8-bit |
| 2 | Q/K/V 投影 | DI-MatMul(整数 GEMM + 动态输出缩放) | 输入/权重 dyadic,输出动态 dyadic |
| 3 | RoPE | 预计算三角函数表,按整数乘移位应用(论文未展开,属可行实现) | 角度表的整数近似 |
| 4 | QKT | DI-MatMul,1/d 折进 Q 的 scale | 输出动态 dyadic |
| 5 | Softmax | DI-ClippedSoftmax + DI-Exp | 输出 m=1, k=p−1 |
| 6 | PV | DI-MatMul,概率是整数小数 | 输出动态 dyadic |
| 7 | 输出投影 + 残差 | DI-MatMul + 整数加 | 残差两侧对齐到同一 dyadic |
| 8 | RMSNorm | DI-Norm | 同上 |
| 9 | gate/up 投影 | DI-MatMul | 输出动态 dyadic |
| 10 | SwiGLU | DI-SwiGLU(DI-Exp 实现 sigmoid) | 两分支 dyadic 相乘相加 |
| 11 | down 投影 + 残差 | DI-MatMul + 整数加 | 回到残差格式 |
这张表里有两个容易被忽略的工程点。
第一,注意力的缩放因子要提前折进量化参数。标准注意力计算 QKT/d 中,1/d 是一个浮点常数;在全整数方案里,它应当被吸收进 Q 的量化 scale——也就是在重建阶段就把 Q 的 dyadic 参数乘上这个因子,而不是在运行时做一次浮点乘法。同理,任何逐层的固定系数(如 Softmax 前的 mask 偏置、RoPE 的固定角度表)都应当预先折叠进相邻算子的整数参数,运行时只保留整数乘加与移位。
第二,残差连接要求两侧格式对齐。残差是整数加法,但左右两侧可能来自不同的 dyadic 参数(一侧是 MatMul 输出,另一侧是 block 输入)。相加前必须把两者换算到同一个指数 k,否则数值会错位。这解释了为什么 DI-Norm 的量化误差会直接体现在困惑度上:归一化输出进残差时没有后续算子来稀释误差。
RoPE 是论文没有展开的另一个环节。从 dyadic 框架出发,一种自然做法是把预计算的正弦、余弦表量化成整数对 (m,k),旋转时用整数乘加与移位完成;另一种做法是在 block 重建阶段就把 RoPE 视为不可量化算子,只对旋转之后的 Q/K 做量化。前者保持全整数,后者会引入一个浮点边界;选择哪一种取决于目标硬件是否愿意为三角函数保留一小段浮点或查表通路。
FSBR:把可等价变换的平滑系数学到每一处
等价的线性平滑
先回顾量化友好的等价变换。设线性层输出为 XW,其中输入 X 的某些通道量级很大。把输入的某一列乘上一个平滑系数 s−1,同时把对应权重行乘上 s,结果完全不变:
(X⋅diag(s)−1)(diag(s)W)=XWSmoothQuant 于 2023 年提出的正是这一变换,其动机是:激活的离群值在通道上,权重的离群值相对平缓,于是可以把量化难度从激活一半「迁移」给权重。迁移系数 α 通常写为
sj=max∣xj∣α∣xj∣α⋅(∣wj∣max∣wj∣)1−α这里 xj、wj 分别是第 j 个通道的激活与权重。α=0 表示完全不平滑,α=1 表示把所有难度都推给权重。这个变换只对「线性接线性」的位置有效。
OmniQuant 于 2023 年进一步把平滑系数变成可学习的参数,并通过块级重建(block reconstruction)——固定其余层,只优化当前一层(或一个 block)的平滑系数与量化参数,以最小化输出重建误差——来找到更优的系数。它在激活-权重对上是通用框架,但在非线性算子位置上仍然没有覆盖。
四类平滑位置
I-LLM 的 FSBR 与上述工作的关系很明确:SmoothQuant 与 OmniQuant 都是 FSBR 的子集,FSBR 把平滑扩展到所有可等价变换的激活-激活、激活-权重对。 原文图 5 左侧给出了四种范式:
- 并行线性-线性:Q、K、V 三个投影共享同一输入 X。可以只对共享输入做平滑,并把逆变换分给三个权重矩阵。
- 串行线性-规约:线性层输出接 RMSNorm/LayerNorm。归一化对输入的等比缩放近似不变(RMSNorm 对通道级缩放并不严格不变,严格说对单通道缩放会改变输出,但对整体缩放不变),于是可以在归一化前后各放一半。
- 串行线性-线性:FFN 的
down_proj输出接残差,残差的通道分布决定了后续量化的难度;可以在门控与 up 的输出与 down 的输入之间放平滑。 - 非线性激活平滑:SwiGLU 的位置,这是 FSBR 新增的、也是最重要的部分。
前三种本质上是线性代数上的恒等变形,直接乘除即可。第四种需要一点分解技巧,下面重点推导。
SwiGLU 的非线性平滑推导
SwiGLU 的定义(原文式 1)为
SwiGLU(x,W,V,b,c)=SiLU(xW+b)⊗(xV+c)令 x1=xW+b(门控分支),x2=xV+c(线性分支),⊗ 为逐元素乘法,σ 为 sigmoid,则 SiLU(x)=x ⋅σ(x),于是
SwiGLU=x1⊗x2⊗σ(x1)现在引入平滑系数向量 s,把门控分支的每个通道乘 sj、线性分支除 sj:
SwiGLU=(x1⊗s)⊗(x2⊘s)⊗σ′(x1⊗s)其中 σ′(x1⊗s) 的定义是:先乘 s 再除回来再取 sigmoid,即 σ′(y)=σ(y⊘s)。
验证等价性:前半段 (x1⊗s)⊗(x2⊘s)=x1⊗x2;sigmoid 项中 y⊘s=x1,因此 σ′(y)=σ(x1)。整体依然等于原始值。
这个构造的工程含义是:把平滑系数折进权重——W′=W⊗s,b′=b⊗s,V′=V⊘s,c′=c⊘s。推理时,门控分支和线性分支分别算出 x1′=xW′+b′ 与 x2′=xV′+c′,两者都在合适的量级上被量化。唯一的变化是 sigmoid 的实现要对输入先除 s——这就是原文所说的 σ′ 「与原 σ 的差别仅在于此,开销可忽略」。
之所以必须先把 SiLU 拆成 x⋅σ(x),是因为 SiLU(xW) 这一形式里,输入 x(或其输出)的缩放会穿过非线性函数,无法被线性地吸收进权重。拆开后,与输入相称的乘法项可以被吸收,只剩 sigmoid 的参数需要调整。
平滑后的效果
平滑效果最直观的证据是门控分支输出分布的变化。原文图 2 给出了 SwiGLU 门控单元在 FSBR 前后的分布:

图 2(a) 是平滑前:横轴为激活值,可以看到分布极其分散,通道与 token 方向都有大量离群值,主分布窄而密集,同时拖着很长很稀疏的尾巴。这样的分布用任何一个固定 scale 量化,要么主分布精度尽失,要么离群值被裁断。图 2(b) 是平滑后:分布更加集中、主体更宽,极值被压低,整体像一个更适合整数均匀量化的近似高斯形状。
需要强调 FSBR 的优化目标是块级重建:固定未量化的模型,把当前 transformer block(或其中一部分)的平滑系数作为可学习参数,端到端最小化块输出的量化误差。这一流程与 OmniQuant 一致,优点是无需重训练全模型,只需要少量校准样本;代价是优化超参数(学习率、层划分方式、校准样本数)会影响效果。论文的实现细节中,所有平滑系数共享学习率 5×10−3,使用 128 个校准样本;重建阶段 Softmax 输入保持不量化,以保证注意力分数的精度。
另一个关键条件是 FSBR 的优化对象包含非线性算子的输出。常规量化方法(包括很多 W4A4 方案)只对线性层的输入做平滑,把非线性算子的输出当作「已经足够好」直接量化,结果就是在整数推理下,这些位置的误差被放大。FSBR 把所有平滑位置都放进重建目标里,因此能够恢复非线性算子的量化精度。论文消融部分给出了一个直接对照:同样的 W4A4 设置,仅用 FSBR(不做任何整数算子改造,全部用伪量化模拟)即可让 LLaMA-7B 的 WikiText2 困惑度从 SmoothQuant 的 256.58、OmniQuant 的 122.18 降到 9.44,而 FP16 基线是 5.68。这说明跨通道波动是跨 token 波动之外的第一大误差来源,且仅靠平滑已经能够把大部分误差消掉。
DI-MatMul:在整数域里做动态量化矩阵乘
问题:平滑后还剩跨 token 差异
FSBR 处理了跨通道差异,但激活在 token 方向的差异依然存在。静态量化的 scale 在部署后固定不变,一旦遇到校准集外的输入,量化误差就会急剧上升。而动态量化要「动态」,就必须在每个 token 前面现场计算 scale,这一步若用浮点,全整数的前提就被打破了。
DI-MatMul 的设计目标即:矩阵乘的输入与输出都采用运行时动态计算的量化参数,但计算这些参数的每一步都只用整数运算。
dyadic 数:用整数表示缩放
核心技巧是把所有 scale 表示成 dyadic 数(形如 mI/2kI 的有理数,mI 与 kI 都是 8 位整数)。为什么是 dyadic 形式?因为乘一个 dyadic 数等价于「整数乘法 + 移位」:round(x⋅mI/2kI)≈(x⋅mI)≫kI。硬件层面移位是单位周期的操作,乘法是整数单元的基本能力,不需要任何乘法和浮点除法。这是全整数推理在参数表示层面的基础,早在 2018 年的 CNN 量化工作中就被使用。
DI-MatMul 的完整签名(原文式 2)为
YI,myI,kyI,zpI=M(m1I,k1I,zp1I,X1I, m2I,k2I,zp2I,X2I)输入包括 m1I,k1I,zp1I 与 m2I,k2I,zp2I 两组被乘数的 dyadic scale 与零点,输出是乘积的整数结果 PI、乘积的量化结果 YI 与其自身 dyadic 参数、零点。
累加与输出缩放
单次矩阵乘的整数累加为
PI=(X1I−zp1I)(X2I−zp2I)即所有输入先减去零点再做整数乘加。这一步对应矩阵乘本身,硬件上就是普通的整数 GEMM(低比特整数乘加),没有浮点参与。
累加结果先以浮点数学形式把缩放归并到一起(原文式 3):
Y=PI2k1I+k2Im1Im2I注意这里只是说明数学上的归并——m1Im2I 是一个常数整数乘积,2k1I+k2I 是二维移位。实际执行中是先算 PI⋅m1Im2I(整数乘),再右移 k1I+k2I 位。
关键一步:动态求出输出 scale
难点在第 3 步:输出范围取决于本次矩阵乘的实际最大值。输出缩放后的真实值约等于
sy≈(2nI−1)⋅2k1I+k2I(pmaxI−pminI)⋅m1I⋅m2I其中 pmaxI,pminI 是当前 PI 的整数最大最小值,nI 是输出位宽。这个 sy 是一个浮点数;DI-MatMul 要把它近似成另一个 dyadic 数 myI/2kyI。形式化为
argmyI,kyImin(2nI−1)⋅2k1I+k2I(pmaxI−pminI)⋅m1Im2I−2kyImyI1,myI,kyI∈{0,…,255}这个搜索看起来要迭代,但论文给了一个关键引理:若 k0I 是某个最优解,则把指数增到 k0I+1 不会使结果更差。直白地理解:mI 最大到 256,把 k 增大相当于把 m 翻倍,只要 m 不溢出,整体乘出的值只会更接近目标值。于是可以选择最优 myI 取满量程 256,先解出 kyI,再回代求 myI(原文式 6、7):
kyI=⌊log2(pmaxI−pminI(2nI−1)⋅2k1I+k2I+8)⌋myI=⌊nI(pmaxI−pminI)⋅mx1I⋅mx2I≫(k1I+k2I−kyI)⌉⌊log2(⋅)⌋ 可以用最高有效位(MSB)的整数指令直接求出(CPU/GPU/NPU 普遍提供「找最高位」指令),或者用迭代右移。整个 kyI 的求解是几次整数移位与比较;myI 的计算是一次整数乘加一次移位加舍入。
得到输出 dyadic 参数后,输出零点与量化结果(原文式 8)为
zyI=⌊pmaxI−pminI−pminI⋅(2nI−1)⌉,YI=⌊pmaxI−pminI(PI−pminI)⋅(2nI−1)⌉注意 pmaxI−pminI(2nI−1) 这个因子需要按向量作用于所有元素——实际可以再走一次 dyadic 近似,把「除以范围」换成「乘 m/2k、移位」,从而保持全整数。
为什么只多「几个整数标量运算」
原文对这条路径的评价是:引入的运行时开销是「少量额外的整数标量运算」。原因在于,所有动态参数只与当前批次的统计量有关,而统计量的计算(最大最小值)在整数域就是逐行最大值/最小值,硬件上对应逐元素比较归约,不需要把数据还原成浮点。整个链路的信息流是:整数数据 → 整数归约求极值 → 整数 dyadic 参数 → 整数移位输出。没有任何一步落到浮点。
与「标准动态量化」的区别正是「动态」这一步的实现方式。标准动态量化调用 torch.max、除法、乘回这些浮点 API;DI-MatMul 把这些都替换成了整数比较、整数乘、移位、MSB 指令。这就是题目中「Dynamic Integer-only」的含义。
再补充一个工程要点:Dense 层(FFN 的 up/gate/down 与注意力的 Q/K/V/O)都可以按上面这套流程走,但 MLP 的门控分支、注意力的 Softmax 与 RMSNorm 是非线性的,需要专门算子,这部分放在下两节。另外,DI-MatMul 在实现时对矩阵乘的输出缩放做了 dyadic 舍入,理论上存在「my 取 256 后舍入误差」的问题,论文以 W4A4 与 W6A6 的实验结果说明这一近似在真实模型上可接受。
全整数非线性:DI-ClippedSoftmax、DI-Exp、DI-Norm、DI-SwiGLU
非线性算子是整套方案里实现难度最高的部分。I-LLM 一共设计了四个整数算子:DI-ClippedSoftmax(含 DI-Exp)、DI-Norm(含 RMSNorm 开方)、DI-SwiGLU。原则是一句话:所有非线性算子输出统一保持在 8 位,输入采用逐 token 动态量化,用移位替代乘法和超越函数。
原文的实现细节里有一条约束值得单独提:I-LLM 保证所有非线性算子的激活保持 8-bit 量化,而线性层的权重与激活位宽可配置(如 W4A8、W4A4)。这样非线性算子的精度压力就与线性层的位宽解耦,低比特线性层 + 8-bit 非线性层这一组合,是论文最重要的部署形态。
DI-ClippedSoftmax 与截断系数
Softmax 在注意力中把分数转成概率:
Softmax(xi)=∑j=0iexjexi=∑j=0iexj−xmaxexi−xmax减去最大值这一标准做法与整数无关,仅用于数值稳定性。问题在于输入分布:LLM 注意力分数的离群值量级与 token 数相关,极少数项可能比其他项大几十。如果按整个范围量化,由于 Softmax 中每个位置的值要参与「指数后的和」,整体差异会被指数放大,用静态范围量化会严重损失精度。
I-LLM 的观察很简单:e−20 已经是约 2×10−9,相对于 8-bit 概率可分辨的粒度可以忽略。因此对每个 token,只有落在 (xmax−20, xmax) 区间内的输入对结果有贡献。于是 DI-ClippedSoftmax 对每个 token 做动态量化时,把输入范围的下界钳到「最大值减 c」(原文式 10):
pminI=max(pminI, pmaxI−cI)其中 c 本身也用 dyadic 表示 c=mcI/2kcI,于是整数域内 cI=mcI⋅2k1I+k2I−kcI。这个钳位保证了无论动态范围有多大,参与量化的实际区间长度都不超过 c。论文调参后选 c=15,其给出的量化误差上界是 0.047(在 8-bit 输出下约等于 1/8 个最小可分辨单位)。
截断的效果有量化消融支持:不做截断(表中标「–」)时,LLaMA-7B 的 W4A4 WikiText2 困惑度高达 7,360,945,W6A6 也有 60,335——这两个数字几乎等于「Softmax 量化把注意力打烂」。而 c 取 10 到 20 的任意值,结果都稳定在 9.15–9.23(W4A4)与 5.85–5.89(W6A6)之间。这说明:问题不在于 c 选得准不准,而在于有没有截断;只要截断到 10–20 这个合理区间,结果对参数不敏感。
算法层面(原文 Algorithm 2)分为:减去最大值得到 xΔI;调用 DI-Exp 得到指数结果组成的整数向量;整数除法 IntDiv 得到输出。输出的 scale 固定为 moutI=1,koutI=poutI−1,表示输出是 [0,1) 的整数小数。
DI-Exp:只用移位算指数
指数是全整数里最难的算子。DI-Exp 的思路是把 ex 换成 2 的幂:
ex=2xlog2e先设输入 dyadic 为 mxI/2kxI,则
s=2kxIlog2e,sI=⌊log2e2kxI⌉把输入拆成整数部分和小数部分:
⌊sIxI⌋+(xImodsI)⋅s整数部分对应 2−qI(纯移位),小数部分 rI⋅s∈(−1,0] 落在 2rIs 的区间里。对 2rIs 在 [−1,0] 区间上做一次线性插值:
2rIs≈1−2sIrI合起来得到最终近似(原文式 12):
exI⋅(mxI≫kxI)≈(1−2sIrI)≫qI公式看起来很密,逐项拆:
- qI=−⌊xI/sI⌋:输入相对 sI 的整数倍数(负数,因为 xI≤0),决定结果的移位幅度。
- rI=xImodsI:剩余部分,决定在 20 到 21 之间插值。
- (1−rI/(2sI)):把剩余部分线性映射为 [0.5,1] 附近的近似值,一次整数乘、一次移位。
- ≫qI:右移整数倍,完成 2−q 的量级缩放。
原文 Algorithm 1 给出了完整实现,其中 mfI=mI+(mI≫1)−(mI≫4) 是对 1.56⋅mI≈mI+mI/2−mI/16 的整数近似(即 sf 的一部分);t=round(−1/sf) 供后续除法使用。整个算法里只有整数加法、整数乘、移位、整数除、取余,没有查表,也没有浮点。
为什么不是查表?LUT 依赖表的大小,指数输入的范围是动态的(每个 token 的 scale 不同),要覆盖全范围表就很大,访存开销在注意力这种高并发场景下会拖慢内核。为什么不做多项式拟合(I-BERT 用查表加二次拟合)?多项式拟合的区间需要事先固定;动态量化下输入 range 每个 token 都不同,固定拟合区间会失配。DI-Exp 把拟合区间限定在 (−1,0]——这是个与输入 range 无关的固定小区间,因此可以在动态量化下稳定工作。
近似精度方面,sI 的取整误差与线性插值误差是唯二的误差源,其余部分是等价的。论文的消融显示,加入 DI-Exp 后困惑度变化很小(FSBR 9.44 → +DI-SwiGLU 9.12,其中 DI-Exp 是 SwiGLU 内部的核心)。
DI-Norm:开方用逐位检查
RMSNorm 的计算是:
RMSNorm(x)=d1∑ixi2x⊗γ其中 d 是特征维,γ 是逐通道缩放。与 LayerNorm 相比,它不做减均值居中,因此跨通道差异更加严重。FSBR 对 RMSNorm 的输入做了逐通道量化,使得整数输入与通道 scale 一起携带。推理时:平方和与求和都是整数;除 d 用 dyadic 近似;难点是开方根 。
常见做法有两种。一是牛顿迭代(I-BERT 用的方式):从初值 y0 出发反复求解 div(x,y)+y)/2,收敛快但迭代次数不定,且每次迭代需要两次乘法与一次除法,整数除法本身昂贵。二是 I-LLM 用的逐位检查法,原文 Algorithm 4 描述:从高位到低位逐位尝试,判断当前位的平方是否超过输入,类似手算开方。每一步是一次整数比较,位宽为 n 时最多 n/2 次比较,全部为整数,结果可预测、无分支跳转(如果实现成无分支的位运算),硬件上更容易流水线化。论文对选逐位检查的理由是:「为保证推理与训练时的求值一致,采用逐位检查方法以获得更高精度」——意思是训练阶段(重建)用的浮点求值结果,要与推理阶段用整数近似求出的结果一致,如果推理用牛顿迭代,前后精度不一致会导致重建优化「优化了一个与推理不同的函数」。
这里需要指出一个预期中的副作用:DI-Norm 量化本身会带来可察觉的精度下降。论文在消融中如实说明这一点,并将其归因于残差连接——归一化输出直接进入残差,残差中的量化误差不会被后续算子稀释,而是直接叠加。这也是原文中唯一一处「加整数算子反而让困惑度略升」的记录。
DI-SwiGLU
SwiGLU 在重建阶段被分解为 x⋅σ(x) 来做平滑;推理阶段,DI-SwiGLU(原文 Algorithm 3)实现为「一个 sigmoid 非线性 + 两次乘法」,其中 sigmoid 由多次调用 DI-Exp 实现:
- 门控分支输入按 αsmooth 做逆缩放:xgateI/αsmooth;
- 减去最大值获得 xΔI;
- xΔI 调用 DI-Exp;
- 计算 −xmax 处的 DI-Exp,即 e−xmax(这是 sigmoid 分母所需的项,避免调用一次完整 Softmax);
- 用整数除法算 sigmoid:EΔ/(EΔ+E−xmax),输出位宽 poutI;
- 与门控输入相乘、再与线性分支相乘。
输出 scale 是 moutI=mgateI⋅mupI,koutI=kgateI+kupI+poutI−1——即两个分支的 scale 相乘、移位指数相加,依然是纯整数。
消融数据显示 DI-SwiGLU 是四个算子里唯一让困惑度下降的(FSBR 9.44 → +DI-SwiGLU 9.12,C4 12.72 → 12.38)。这与上文的分析一致:SwiGLU 的输入在 FSBR 阶段已被平滑,量化已经足够友好,整数 sigmoid 的近似误差小于量化误差,因此引入它几乎不付出精度代价。
全整数的硬件收益从哪里来
I-LLM 的出发点之一是让 LLM 能跑在没有浮点单元的硬件上,而这里的收益不是抽象的「整数更省」,有几笔具体的账。
乘法器面积与能效。硬件里一个 n 位浮点乘法器需要尾数乘法、指数加法、对齐移位、规范化四段逻辑,面积通常明显大于同宽整数乘法器(常见估计在数倍量级);浮点加法同样需要对齐与规范化。整数乘加单元(MAC)结构简单得多,在同一工艺下可以布置更多、以更低功耗运行。这就是 CNN 时代的量化推理能在端侧落地的基础——Edge TPU 一类加速器正是把所有运算做成 8 位整数乘加的阵列。
GEMM 的核心是累加器,而不是乘加器。一个 16×16 的整数脉动阵列,每个周期搬运一批输入,让数据在阵列里流动、做权重静止的乘累加;累加器位宽决定精度余量,而与乘加器位宽无关。全整数方案下,累加器只需要为整数点积设计,不需要为浮点累加的舍入模式设计,硬件实现更简单、频率更高。
非线性的延迟。FP32 的 exp 指令延迟通常在十几个周期到几十个周期之间,硬件上依赖多级流水与多项式近似的专用单元;DI-Exp 的整数实现是「一次整数乘 + 若干次移位 + 一次整数除 + 一次取余」,全部落在通用整数 ALU 上,可以在普通整数流水线里完成。Softmax 和 SwiGLU 在每个 token 的每一层都要执行,虽然单次延迟差别看似不大,但累加到一个长上下文的解码过程里,就会成为与 GEMM 相当的延迟来源。
部署面的收益。ARM Cortex-M 系列、GreenWaves GAP 系列、各类 NPU,普遍没有与桌面 GPU 相当的浮点单元,或者浮点吞吐只有整数的一小部分。模型只要用到浮点,这些芯片就至少要在软件层做一次完整的浮点软实现(软件浮点库),其代价通常是 10 倍以上。全整数推理让 LLM 可以直接映射到这些芯片的整数 MAC 阵列上。
这些都是硬件层面的设计动机,论文没有给出实测的功耗与延迟数字。实际加速比取决于内核实现质量、目标硬件的整数单元吞吐、以及动态量化在运行时引入的归约开销——后者与序列长度、batch 规模相关。在推理内核生态成熟之前,把这些收益当作「方向性的优势」比当作「倍数」更稳妥。
与 W8A8 基线对比:为什么 8 位反而更值得先落地
从精度数据看,I-LLM 最有把握的落点是 W8A8 与 W6A6。W8A8 时,I-LLM 的困惑度在每个模型上紧贴 FP16 基线,而全整数与伪量化的差别在于计算路径;也就是说,在 8 位下你可以拿到全整数的部署收益,同时几乎不做精度妥协。这一点对边缘芯片尤其重要:多数端侧加速器的整数 MAC 阵列是 8 位或 4 位,而非线性层的 8 位激活正好与硬件位宽对齐。
W6A6 介于两者之间:它比 W8A8 更省显存与带宽,精度损失仍在可接受范围;I-LLM 在全部 LLaMA 模型上优于两个伪量化对照。对于显存紧张的设备(例如只有几十 MB 片上 SRAM 的 NPU),W6A6 是一个合理的中间档。
W4A4 的情况更复杂。它确实把权重与激活都压到了 4-bit,存储收益最大,但精度损失在零样本任务上是可观测的(约 10 个点),并且非线性层仍保持 8-bit 输出——这意味着 W4A4 的收益来自线性层与带宽,非线性层并没有更省。如果目标硬件的 4 位整数 MAC 阵列本来就用于矩阵乘、非线性走标量单元,这种非对称是合理的;但若期望「全链路 4-bit」,I-LLM 的实现并不满足。
实验:W8A8、W6A6 与 W4A4 下的精度
实验设置
论文在 OPT、LLaMA、LLaMA2、LLaMA3 系列上做评估,规模覆盖 6.7B 到 30B;困惑度用 WikiText2 与 C4 报告,零样本任务用 PIQA、ARC-e/ARC-c、BoolQ、HellaSwag、Winogrande。重建阶段用 128 个校准样本,平滑系数共享学习率 5×10−3,实验在单张 A6000 上完成。对比对象包括 SmoothQuant、OmniQuant、AffineQuant、RPTQ 等,这些对比方法的共同点是都还不是全整数——它们只把整数用作存储格式,计算仍是浮点。
W8A8:与浮点几乎重合
原文图 4 对比了各 PTQ 方法在 LLaMA 系列上的 W8A8 困惑度。

图 4 的横轴为各模型,纵轴为困惑度,越低越好。主纵轴(左侧)只覆盖个位数的困惑度区间,I-LLM 的柱子在每个模型上都与 FP16 的数值几乎重合;图例中同时给出 SmoothQuant 作为「非全整数」的参照。而图右侧另设了一条量级到十万的纵轴,专门容纳 I-BERT 一类方案的结果——它们的困惑度远超主纵轴的范围,根本无法放在同一坐标里。这张图要传达的结论很明确:在 8-bit 下,全整数实现的代价可以小到基本看不见,而早期把 CNN 方案直接套到 LLM 上的全整数方法则会彻底失效。
W6A6 与 W4A4:整数方案的精度位置
W6A6 下,I-LLM 在所有 LLaMA 模型上都优于 SmoothQuant 与 OmniQuant。以 LLaMA-7B 为例,SmoothQuant W6A6 的 WikiText2 困惑度 6.03、C4 7.47,OmniQuant 5.96/7.43,I-LLM 5.84/7.32,FP16 5.68/7.08。零样本平均准确率上,LLaMA-7B 的 W6A6 I-LLM 为 63.39,SmoothQuant 62.81,OmniQuant 63.17,基线 64.09。
W4A4 才是真正的考验。这个位宽下,SmoothQuant 在 LLaMA-7B 上的 WikiText2 困惑度直接变成 22.25(C4 32.32),LLaMA-13B 变到 40,LLaMA-30B 到 192;换成 LLaMA3-8B 更是到了 418(C4 312),等于是彻底坏掉了。OmniQuant 稍好,但也从 5.47 抬到 11.26(LLaMA2-7B 从 5.47 到 14.26)。I-LLM 的 W4A4 结果是 LLaMA-7B 9.10、LLaMA-13B 7.99、LLaMA-30B 7.24、LLaMA2-7B 10.44、LLaMA2-13B 9.76、LLaMA3-8B 21.19。
换成零样本准确率的口径更直观:LLaMA-7B 的 W4A4 平均准确率,SmoothQuant 38.41,OmniQuant 52.65,AffineQuant 53.42,I-LLM 54.21,FP16 64.09。LLaMA-13B 的 W4A4 中,I-LLM 56.00 对 OmniQuant 54.37、AffineQuant 52.58。
这里需要如实说明:W4A4 下 I-LLM 离 FP16 仍有明显差距(LLaMA-7B 困惑度 9.10 对 5.68,零样本准确率少了约 10 个点)。论文的表述是「操作在 W4A4 且精度损失可忽略」,从零样本任务看,相对同类 W4A4 方法确有优势;但相对 FP16 基线并非无损。另外,对比方法的数字是在浮点计算下得到的,I-LLM 是在全整数下得到的——这个对比对 I-LLM 是偏「严苛」的,因为同类方法一旦换成真正的整数算子,精度大概率会更差。
OPT 系列也呈现类似模式。OPT-6.7B 的 W4A4:SmoothQuant 1.8e4,RPTQ 12.00,OmniQuant 12.24,I-LLM 12.20,FP16 10.86;OPT-30B 的 W4A4:OmniQuant 10.60,I-LLM 10.53,FP16 9.56。OPT 的嵌入尺度较大、离群更严重,W4A4 下各方法差距相对收敛,但 I-LLM 仍然稳定处在最优一侧。
消融:每个部件贡献了多少
原文在 LLaMA-7B 上做了一组对照,按 FSBR、DI-ClippedSoftmax、DI-SwiGLU、DI-Norm 逐个叠加:
| 配置 | W4A4 WikiText2 | W4A4 C4 | W6A6 WikiText2 | W6A6 C4 |
|---|---|---|---|---|
| SmoothQuant(伪量化) | 256.58 | 218.47 | 6.09 | 7.60 |
| OmniQuant(伪量化) | 122.18 | 183.20 | 5.99 | 7.57 |
| FSBR(伪量化) | 9.44 | 12.72 | 5.83 | 7.02 |
| + DI-ClippedSoftmax | 9.44 | 12.72 | 5.83 | 7.02 |
| + DI-SwiGLU | 9.12 | 12.38 | 5.83 | 7.04 |
| + DI-Norm | 9.52 | 12.63 | 5.85 | 7.35 |
| FP16 | 5.68 | 7.08 | — | — |
解读这组数据:
- FSBR 是最大贡献者。从 122.18 到 9.44,量级上的改进完全来自跨通道平滑。这验证了论文的核心判断——跨通道波动是第一位的问题。
- DI-ClippedSoftmax 在此表上不改变困惑度。原因是该消融的实验设置里,Softmax 输入本来就没有被量化(重建阶段与消融都假设 Softmax 输入全精度),所以「全精度 Softmax → 整数 Softmax」这一步的贡献没在这一行体现。它的真实作用要从另一张截断消融表看:不截断时 W4A4 困惑度是百万量级,截断后是 9.15。
- DI-SwiGLU 略降困惑度,与前述分析一致。
- DI-Norm 略升困惑度(9.12 → 9.52,W6A6 C4 从 7.04 到 7.35)。论文明确归因于残差连接,是全整数方案里代价最明确的一处。
这组消融还说明了一件事:FSBR 是「全整数」的前提,而不是可选优化。没有它,后面三个 DI 算子无论怎么设计都是建立在一个已经被平滑前的分布上,整数量化本身就会损失模型。
与既有量化路线的关系
和伪量化加权方法的关系
AWQ、GPTQ 这类权重-only 量化的定位是:把权重压到 4-bit 或更低,激活保持 FP16,矩阵乘用「低精度权重 × 高精度激活」的内核。它们的核心贡献在量化算法本身(显著权重保护、二阶误差补偿),执行路径上仍然依赖浮点或至少半精度计算。它们与 I-LLM 不冲突——I-LLM 的 FSBR 是一种可以在事后套用的平滑方法,可以配合任意权重舍入算法。
但要注意一点:I-LLM 的路线是「权重与激活都量化、计算全整数」,AWQ 的路线是「权重低比特、激活高精度」,前者在硬件上的收益更彻底,后者在精度上更稳。W4A16 与 W4A4 的取舍在已有文章里有展开,例如 AWQ 完全拆解:只保护 1% 的显著权重,4-bit 量化如何接近无损 讲清了显著权重保护的动机,SmoothQuant 完全拆解:激活量化难度的数学等价迁移,如何实现无损 W8A8 推理 则把 FSBR 中「并行线性-线性」那一类平滑的原理讲透了,I-LLM 的 FSBR 可以看作它的推广。
和 W4A4 全整数的后续路线的关系
QuaRot 用 Hadamard 旋转把离群值「转平」,从而在 W4A4 甚至 W4A4KV4 下接近无损;I-LLM 处理离群值的方式是可学习的平滑系数 + 逐位置覆盖,两者是两种不同的思路。旋转是对称、数据无关的线性变换,成本是固定的一次 Hadamard 乘;平滑系数是数据相关的、需要重建优化的。前者在算力允许的情况下更容易部署(不需要校准),后者在小批量、低功耗硬件上更省。两者是可以叠加的,QuaRot 完全拆解:旋转坐标系根除激活离群值,LLM 端到端 W4A4KV4 推理的数学魔法 里有旋转的详细推导。
和「低比特内核」的关系
I-LLM 的贡献在算法与算子层,它没有给出一个高性能的内核实现;论文的结论也明确提到后续工作是把 I-LLM 部署到专用硬件与云平台来获得加速。在 GPU 上,4-bit 全整数 GEMM 目前的内核生态远不如 FP8/FP16 成熟——这也是为什么伪量化 + 反量化的方案(Marlin 完全拆解:4-bit 权重如何喂满 GPU Tensor Core 里讲的 W4A16 路径)在云侧仍是主流。I-LLM 的价值更集中在两个场景:一是端侧没有 FPU 的硬件,全整数是硬约束;二是有整数张量单元、但 FP 单元相对弱的加速器(包括论文提到的 Turing 一代 Tensor Core 支持整数逻辑单元)。
局限与未解决的问题
I-LLM 是一篇 2024 年 5 月的预印本(arXiv 2405.17849,v2 修订于 2024 年 6 月),作者的落脚点在算法与算子设计,从严谨的角度看,有几处值得单独讨论:
- W4A4 的精度差距仍然存在。LLaMA-7B 在 W4A4 下零样本准确率约比 FP16 少 10 个点,LLaMA3-8B 的困惑度从 6.14 涨到 21.19。论文的「可忽略精度损失」表述更适用于与同类方法的横向对比,而不是与 FP16 的纵向对比。对需要稳定精度的线上服务,W8A8 或 W6A6 是更合理的落点。
- 缺少端到端加速数据。论文没有给出延迟、吞吐、能耗的对比数据,因此「整数推理更快」这一结论在它这里是由算术精度层面的分析支撑的,而不是实测。这一点在引用时应当说清楚。
- 非线性算子的全链路成本。DI-Exp 是无表方案,相比查表可能减少访存,但每条指令序列更长;整数除法在通用 ALU 上通常需要多次迭代(没有除法单元时)。实际内核若要达到论文声称的效率,需要针对目标硬件做指令级优化。
- 校准依赖。FSBR 与 OmniQuant 类似,需要 128 个样本做重建,平滑系数对校准集分布有一定敏感性。分布偏移严重的场景(如长上下文、特殊领域数据)需要重新校准。
- DI-Norm 的残差代价。这是全整数路线里一个结构性问题。只要归一化输出直接进残差,它的误差就不会被稀释。一种改进方向是在残差加法处保持在更高位宽,或者在 FSBR 里为残差输入单独设计平滑。
小结
I-LLM 的思路可以归纳成三句话:
- 全整数推理的价值不在存储,在计算单元与能耗。伪量化只省带宽,全整数省的是计算本身,这在计算受限与无 FPU 硬件上才是决定性的。
- LLM 量化的两大波动源需要分开处理。跨通道波动用 FSBR 的可学习平滑覆盖所有可等价变换的位置;跨 token 波动用 DI-MatMul 的整数域动态量化吸收。
- dyadic 数是把浮点彻底拿掉的关键抽象。把 scale 表示为 m/2k,乘法与除法都退化为整数乘加移位,连动态求解输出 scale 都可以用 MSB 指令与整数迭代完成。
四个 DI 算子中,DI-Exp 是最值得记住的一个——它用一个固定区间上的线性插值加移位,在动态量化下近似指数,绕开了查表与多项式拟合对输入范围的依赖。DI-Norm 的逐位开方、DI-ClippedSoftmax 的截断系数,都是围绕「精度与整数约束的取舍」做出的具体选择。而实验数据给出的最重要结论是:FSBR 是全整数的地基,仅靠它一个部件,W4A4 的困惑度就从百级降到个位数。
对于关注推理部署的读者,I-LLM 提供了一个看待量化路线的新坐标轴:除了位宽(W8/W4)与颗粒度(per-channel/per-token),还有「计算格式」——是全程浮点,还是全程整数。在端侧与整数单元的加速器上,这条轴可能比位宽本身更重要。
参考资料
- I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models(arXiv:2405.17849)
- I-LLM 论文 HTML 全文(arXiv v2)
- Jacob et al., Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference(CVPR 2018)
- I-BERT: Integer-only BERT Quantization(ICML 2021)
- SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models(arXiv:2211.10438)
- OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models(arXiv:2308.13137)
- QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs(arXiv:2404.00456)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



