正在获取所在地区…
正在读取天气
音乐
暂未播放
扩散模型从零讲起(八):推理加速工程——跨步缓存、并行采样与 4-bit 量化
写在前面:这一篇在系列里的位置
前七篇按一条主线走完了扩散模型的理论与结构:第一篇从 DDPM 的两条高斯链推到 DDIM、score matching、Flow Matching 和 DiT 主干;第二篇把连续扩散搬到离散的掩码状态空间,讲清 dLLM 的前向/反向过程、后验与块并行解码;第三篇转到 dLLM 的服务系统,拆解算法、KV 缓存与调度三层设计;第四篇进入潜空间扩散,讲 VAE 的压缩税、条件注入通路与 MMDiT 双流;第五篇处理视频扩散的时空注意力、3D VAE 与长视频的分块自回归;第六篇把”为什么 20 步就够”落到 DDIM、Heun、DPM-Solver 的数值机制上;第七篇则回答”4 步以下为什么必须改模型”,拆解一致性模型、DMD、对抗蒸馏与轨迹蒸馏。
这条主线解决的是”用多少步”的问题。但一次扩散请求的成本并不只由步数决定,同样的 20 步配置,在不同工程实现下的端到端延迟可以差三到五倍。剩下的差距来自另外三个方向:单步内部有多少计算是重复的(跨步缓存)、单次前向能不能拆到多张卡上并行(并行采样)、每一步的矩阵乘能不能用更低比特跑(量化)。这三条轴与”步数”正交,可以叠加,也各自有明确的失效边界。
本篇按”先算账、再分别拆三条轴、最后看叠加”的顺序推进。读完应该能回答几个具体问题:为什么 DeepCache 在 U-Net 上有效、在 DiT 上要换一种做法;TeaCache 的阈值到底在控制什么;DistriFusion 用陈旧 KV 近似注意力,误差为什么不会失控;SVDQuant 的低秩分支吸收了什么;以及在 4 步模型上这些优化为什么大多要重调。
第一层:先把一次扩散请求的延迟账拆开
端到端的时间花在哪
一次文生图请求可以切成四段:文本编码、采样循环、VAE 解码、后处理。以 Stable Diffusion XL 在单张 A100 上 1024×1024、30 步、CFG 开启为例,公开的实测口径大致是:文本编码几十毫秒,采样循环占 80% 以上,VAE 解码几百毫秒。采样循环内部,每一步是两次前向(条件与无条件各一次,CFG 把它们拼成一个 batch),所以 30 步对应 60 次 UNet 前向。
把这一段写成式子:
Te2e=Ttext+Nstep⋅Ncfg⋅Tmodel(B)+Tvae+Tpost其中 Nstep 是去噪步数,Ncfg 在 CFG 开启时是 2、关闭时是 1,Tmodel(B) 是批大小为 B 时一次前向的耗时,Ttext、Tvae 是与步数无关的固定项。这个式子直接给出三条优化路径的定位:
- 降 Nstep:采样器阶数与蒸馏,第六、七篇的主题;
- 降 Tmodel:缓存跳过部分计算、量化降低单次前向的算术成本;
- 降有效 Nstep⋅Tmodel:把一次前向拆到多卡上并行,让每个时间步的墙钟时间下降。
还有一条不写在式子里但同样重要的路径:提高并发。批处理把 Tmodel(B) 的边际成本摊薄,但扩散的显存峰值随 B 线性增长(第四篇讲过潜空间激活与 VAE 解码的峰值结构),所以能开多大 batch 本身受显存限制——量化在这里同时降低权重与激活占用。
为什么”单步内部有冗余”这件事值得认真对待
扩散采样有一个自回归解码没有的性质:相邻步的输入差异很小。第六篇推导过 DDIM 的更新式,步长 h 越小,xt−1 与 xt 的差就越小;到采样后期,噪声水平低、轨迹接近收敛,相邻两步的 latent 几乎重合。模型对几乎相同的输入做了一次完整的前向,输出也几乎相同——这就是跨步缓存要吃掉的那部分计算。
需要强调的是,这种冗余是近似而非精确的:缓存跳过的层输出与真实计算之间存在误差,误差会通过后续层放大,也会沿时间步累积。所以所有缓存方法的核心都不是”复用”,而是”在什么条件下复用才不会掉质量”。这个问题在 U-Net 和 DiT 上的答案完全不同,下面两节分别处理。
第二层:跨步缓存的成立条件
相邻步的相似性从哪来
把去噪网络写成 fθ(xt,t,c),其中 c 是文本条件。相邻两步的输入差是 Δx=xt−1−xt,按 DDIM 的更新式,Δx 的量级正比于步长与当前噪声估计:
xt−1=xt−(σt−1−σt)ϵθ(xt,t)−(低噪项)在 t 较大时 σ 的差更大、轨迹移动更快;在 t 较小时两项都收缩。这解释了缓存方法的一个共同经验:在采样后段做缓存更安全。DeepCache 论文的默认策略就是把缓存区间放在后半程(例如 30 步里只在前若干步缓存),TeaCache 的自适应阈值也隐含同样的偏向——它按累计误差决定何时必须重算,后期误差累积慢,重算次数自然少。
但”输入相似”并不自动意味着”中间特征相似”。网络的每一层都是非线性映射,输入的小扰动经过若干层后可能被放大;更麻烦的是,扩散网络里存在对时间步极度敏感的部分——时间步嵌入经过 MLP 后调制每一层的 scale/shift(DiT 的 adaLN),时间步一变,整个 block 的归一化参数就变。这就是为什么单纯比较”输入 latent 的距离”不够,必须比较”与时间步相关的量”。
误差如何累积
设某一步在第 l 层之后跳过了计算,用上一保存时刻的特征 h^l 代替真实特征 hl,误差 el=h^l−hl。经过剩余层 gl+1,…,gL 后,输出误差近似为:
eL≈(i=l+1∏LJi)elJi 是第 i 层的雅可比。这个式子说明两件工程上很重要的事:
- 剩余路径越短,误差越小——雅可比连乘更短,放大机会更少。这也是 DiT 上缓存”注意力残差”比缓存整块更稳的原因:残差只是 block 内的一条支路,剩余路径几乎是完整的 block,误差还能被后续的归一化与残差连接吸收一部分。
- 误差不独立累积。如果连续多步都用同一份缓存,误差不是简单相加,而是被”反馈”回采样轨迹:错误的输出改变下一步的 latent,下一步的缓存又基于错误的 latent,形成漂移。所以缓存策略必须限制”连续复用步数”,而不是只看单步误差。
一个可操作的判据:相对 L1 距离
TeaCache 用一个非常朴素的量作为判据:相邻步的时间步嵌入调制量之间的相对 L1 距离。设第 i 步的调制输入为 mi(由时间步嵌入经 MLP 得到、再加到各层),定义
di=∥mi−1∥1∥mi−mi−1∥1di 小说明这一步的”全局调制”几乎没变,网络整体行为接近,可以复用上一步的残差;di 大说明时间步带来的变化已经不可忽略,必须真算。这个判据之所以有效,是因为在 DiT 里条件与时间信息主要通过 adaLN 的调制参数进入,而调制参数是逐层共享的全局量——它比 latent 更能代表”这一步要不要重算”。
但直接拿 di 比阈值并不准:di 与真实输出误差之间不是线性关系。TeaCache 的做法是拟合一个多项式,把 di 重标定成”相对 L1 误差”的估计,再对这个估计做累加,超过阈值就强制重算。重标定的系数是在校准集上拟合的,不同模型(Flux、SDXL、HunyuanVideo)系数不同——这是工程上最容易踩的坑之一:把 TeaCache 配置从 Flux 直接搬到另一个模型上,阈值语义完全变了。
工程上还有一种更常见、也更省事的”均匀”策略:每 k 步真算一次,其余步复用。TeaCache 论文把这种策略与自己的自适应策略放在同一张图上对比:

上半部分是均匀调度,缓存点等间隔分布;下半部分是 TeaCache 的自适应调度,缓存点疏密不均。论文指出相邻步之间的输出差异在时间步上并不均匀,均匀调度会把”最不该缓存的步”也缓存掉,而把”完全可以缓存的步”浪费成完整计算。自适应调度的价值就在这里:让缓存点落在差异小的区间。图右侧的缓存指示用 Cached/Reused 两种状态表示每一步是做完整前向还是直接复用缓存特征。
这套调度在两个视频模型上的具体收益如下,可以看到加速比与模型、分辨率、阈值都强相关:

每一列从左到右是原始采样、PAB(均匀缓存的代表方法)和 TeaCache。最后一行的 Open-Sora-Plan 上,原始 99.6 s、PAB 22.62 s,而 TeaCache 进一步压到更低延迟,论文汇总口径是最多 4.41 倍加速、VBench 分数只下降 0.07%。对比 PAB 与 TeaCache 的差值能看出自适应判定的价值:两者都用”复用输出”的思路,差别只在”哪一步复用”,而时间步上的非均匀性是决定性的。
三种缓存粒度的区别
把上面的讨论归纳一下,缓存方法可以按”缓存什么”分成三层:
| 粒度 | 缓存对象 | 代表方法 | 适用模型 |
|---|---|---|---|
| 层输出 | encoder 侧高层特征与 skip 分支 | DeepCache | U-Net 主干 |
| 注意力残差 | 自注意力子块的输出 | TeaCache、DiT-based 派生工作 | DiT 主干 |
| 块级激活 | 多个 block 的联合输出 | FORA、BlockCache 等 | 两者皆可 |
粒度越粗,省的计算越多,但跳过的层越多、雅可比连乘越长,误差放大越严重。DeepCache(Ma 等人,2023 年 12 月发布于 arXiv,2024 年 CVPR)在 Stable Diffusion v1.5 上报告 2.3 倍加速、CLIP Score 仅下降 0.05;在 ImageNet 的 LDM-4-G 上是 4.1 倍加速、FID 上升 0.22。它的前提是 U-Net 的 encoder 存在多层可整段跳过的结构。DiT 的 block 彼此同构、没有 skip connection,整段跳过的代价更高,所以 DiT 社区基本转向了”缓存注意力残差”这种细粒度方案。

这张图是 DeepCache 的核心示意。深色块表示完整计算,蓝色小块表示被缓存、在后续步直接复用的高层特征 “Skip Branch”,图中标了 “cache” 的路径对应缓存步:encoder 的对应分支不再计算,decoder 拿到的是上一次完整前向留下的特征。理解它的关键在路径本身:U-Net 的 encoder 越深,特征越抽象、在相邻步之间变化越慢,所以可以跳过的是这些”语义只在高阶上变化”的层;decoder 侧的对称层仍然要算,因为它们要把缓存的高层特征与当前步的浅层信息拼接起来,拼接一旦错位,细节就丢。
缓存的收益账
缓存策略的实际收益不是”复用了多少层”,而是能省多少前向时间。设完整前向耗时 T,一次缓存前向耗时 T′,采样共 N 步、其中 k 步走完整路径,那么平均每步耗时是 NkT+(N−k)T′。实践中 T′/T 通常在 0.4–0.6 之间(缓存只跳掉一部分层的计算,剩余层仍要算),所以即便 k/N 降到 0.2,总耗时也只降到原来的 50%–60%,而不是 20%。这解释了为什么 DeepCache 的实测加速在 2 倍出头,而不是十倍——省的时间与跳的层不成正比。U-Net 里 encoder 与 decoder 的成本分布并不对称:encoder 侧被跳过的层里既有便宜的低分辨率层,也有昂贵的高分辨率层,而 decoder 侧的高分辨率特征拼接与上采样仍要完整执行;再加上缓存步还要算时间步嵌入与部分归一化,实际省下的时间自然小于跳层比例。
工程上的一个隐含前提:DiT 的调制参数也要跟着缓存
有一处细节容易被忽略:TeaCache 缓存的是自注意力子块的残差,但每个 block 还有 adaLN 的调制参数 shift,scale,gate,它们由时间步嵌入与条件共同生成。缓存注意力残差时,调制参数仍然每步重算——这正是判据有效的原因:di 衡量的是调制参数的变化,而调制参数本身的开销(一次小 MLP)与完整的注意力计算相比可以忽略。如果把整个 block 缓存掉,调制参数也一起被冻结,判据就失去了意义,误差会迅速失控。所以”缓存粒度”与”判据的物理含义”必须匹配,二者不能分开设计。
Qwen-Image / HunyuanImage 这类新 DiT 上的实践
2025 年之后的主流文生图模型(Qwen-Image、HunyuanImage 3.0、Flux.2 一类)大多采用 MMDiT 或更宽的双流结构,单步计算量远大于 SDXL。在这类模型上做跨步缓存时,判定框架通常仍沿用 TeaCache 那一套,但有两处工程调整几乎不可避免:
- 缓存作用域要按流划分:双流结构里文本流与图像流的更新频率不同,缓存一般只作用于图像流的 block,文本流保持每步全算;否则文本条件的细微变化会被缓存抹平,表现为”提示词细节不生效”;
- 阈值要按模型宽度重新拟合:参数量越大,调制参数在相邻步之间的相对变化越小,可缓存的步数本应更多;但大模型在采样前期的输出差异也更大,所以前期阈值要更保守,后期才放开。
这两点说明缓存方法的通用部分是”判定量 + 重标定 + 累计误差”这一套流程,而不是某个具体阈值。阈值必须用目标模型在小规模评估集上重新拟合,这一点在部署新模型时尤其重要。
第三层:并行采样——把一次前向拆到多张卡上
为什么单卡撑不住高分辨率
第五篇算过一次视频生成的成本账,图像侧的高分辨率有同样的结构问题:潜空间 token 数 Ntok 随分辨率平方增长,自注意力的计算量与显存都按 Ntok2 增长。1024×1024 的 SDXL 潜空间是 128×128,patch 化后约 4096 个 token;2048×2048 则接近 1.6 万 token,单卡注意力就接近饱和。更关键的是,高分辨率图片的 token 冗余大,单卡上的”每 token 计算量”并不低,靠批处理或稀疏化救不回来。
并行采样的思路直白:把图像切成 patch,每个 GPU 负责一个 patch 的前向切片。但这里有一个无法回避的矛盾:注意力需要全图上下文。一个 patch 里的 token 要去关注其他 patch 里的 token,而后者在自己的卡上。如果老老实实每步都做通信,就退化成全量 All-Gather,通信量与带宽瓶颈会让并行毫无意义。
DistriFusion:用陈旧 KV 换掉同步
DistriFusion(Li 等人,2024 年,DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models,arXiv:2402.19481)观察到一个事实:相邻两步的输入 latent 非常接近。于是它不再每步同步完整 KV,而是维护两份:
Klocal=WKh(local),Ki(stale)=WKhall patches(stale,i−1)其中 h(local) 是本卡 patch 在当前步的隐藏状态,h(stale,i−1) 是上一步从所有卡采集来的完整隐藏状态。注意力的计算拆成两项相加:
O=Attn(Q,Klocal)+Attn(Q,K(stale)∖Klocal)第一项是本卡 patch 内部的注意力,精确;第二项是本卡与”其他 patch 的上一步隐藏状态”的交叉注意力,拿上一轮的 K,V 做近似。由于相邻步 latent 变化小,第二项的误差被限制住;又因为第二项只在上一步的通信结果上做计算,跨卡通信可以直接用异步的方式与当前步的计算重叠。
这个设计把”每步同步全部 KV”变成了”每步只同步本卡新产生的隐藏状态,并且与计算重叠”,通信从关键路径上移开。论文在 SDXL 上报告 8 张 A100 相对单卡最高 6.1 倍加速,且质量没有可测退化。这里的结论很重要:并行采样的上限取决于通信/计算比,而不是卡数。分辨率越高、单卡计算越重,同样的通信量才越值得。
把通信量写成式子会更清楚。设全图 token 数 N,patch 数 P,每个 patch 的隐藏维度为 d,每步需要交换的数据量约为 Nd 个元素(所有 patch 拼起来就是全图),但真正在关键路径上的只有”本卡未命中缓存的部分”。DistriFusion 的做法把通信从关键路径移到计算之后:第 t 步的计算完成时,第 t−1 步的 AllGather 已经在另一条 stream 上完成。于是单步墙钟时间近似为
Tstep≈max(Tcompute/P, Tcomm)只要 Tcomm<Tcompute/P,增加卡数就能线性缩短墙钟时间;一旦通信超过单卡计算时间,再加卡只会增加同步开销。这解释了一个实践中的现象:同样的 4 卡配置,1024×1024 上加速比接近线性,512×512 上却几乎没收益——后者的 Tcompute 太小,通信成了主导项。

这张图的读法要按时间轴而不是按数据流:每个矩形框是一段时间内的计算或通信,上排的 Computation 与下排的 Asynchronous Communication 在时间上交错推进。当前步某一层的计算在进行时,另一条 stream 上完成的是上一步输出的 AllGather/Scatter;拼接好的完整特征图被切回每张卡,作为下一步注意力的”上下文”。箭头把”计算”与”由它触发的通信”分开,说明通信不阻塞当前计算——这是 DistriFusion 能把通信藏起来的具体形态。
图中把一次时间步拆成两条泳道:计算(Computation)和通信(Asynchronous Communication)。上一条是本卡当前步的各层前向,下一条是上一步结果的 AllGather/Scatter。箭头方向显示这两条彼此错开——通信在算第 t 层的时候,同步的却是第 t−1 步的隐藏状态。用”陈旧 KV”的前提是相邻步差异小;如果差异大,比如在采样早期(噪声水平高),陈旧 KV 的误差就会放大,所以并行采样在时间步上的误差分布同样不均匀。
PipeFusion:把 patch 管道化的代价
PipeFusion(2024 年,arXiv:2405.14430,PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference)走的是另一条路:不只切 patch,还把层也切到不同卡上,做 patch 级别的流水线并行。第 i 张卡负责第 i 段层,输入的 patch 在不同卡之间推进。它同样依赖”相邻步相似”这个性质,用一步陈旧的 feature map 填充当前流水级的上下文。
PipeFusion 的出发点与 DistriFusion 不同:它要解决的不只是”分辨率高时算不动”,还有”模型大时显存放不下”——层切到多卡后,每张卡的权重也分摊了,对 Flux 这类大 DiT 尤其重要。代价是多了一个流水线气泡:每条流水线每一级在一个时刻只能有一批数据在算,级间必须串行推进。对比 DistriFusion 的”数据并行 + 注意力近似”,PipeFusion 是”层并行 + 上下文近似”。两者可以叠加,但叠加后陈旧上下文来自两个方向,误差需要分别评估——这是工程上很少有人敢这么做的原因。
四种并行方案的对比
DiT 推理的并行方案不止 patch 切分一种。把常见方案放在同一张表里比较,能看清各自的通信形态与适用场景:
| 方案 | 切分维度 | 每步通信 | 是否近似 | 主要瓶颈 |
|---|---|---|---|---|
| Tensor Parallel | 权重矩阵的列/行 | 每层 AllReduce | 否 | 小 GEMM 效率低、AllReduce 延迟 |
| Sequence Parallel | token 维度 | 注意力前后 AllGather/ReduceScatter | 否 | 注意力 QKV 通信量大 |
| DistriFusion | 图像 patch(数据并行) | 每步一次 AllGather,可重叠 | 是(陈旧 KV) | patch 边界与陈旧误差 |
| PipeFusion | patch + 层(流水线) | 级间点对点传激活 | 是(陈旧 feature) | 流水线气泡 |
Tensor Parallel 在 LLM 上是标准做法,但在 DiT 上效率往往不高:DiT 的 GEMM 宽度大但数量少,切分后每张卡上的 GEMM 变成”瘦长”形状,算术密度下降;而每层后的 AllReduce 是延迟敏感的,DiT 的层数又不多,通信无法被足够多的计算掩盖。Sequence Parallel 的问题是注意力本身需要跨卡的 K/V,通信量与 token 数成正比,在高分辨率下更重。
DistriFusion 和 PipeFusion 的共同点是都接受”一步陈旧”的近似,把通信从关键路径挪走;区别在于 DistriFusion 保留完整的模型副本(每张卡都要装得下整个模型),PipeFusion 把层切开以分摊权重。这决定了它们的适用场景:显存够、要压延迟,用 DistriFusion;模型大到单卡装不下(如 Flux 的 12B),用 PipeFusion 或层切分方案。二者也可以组合:先用 PipeFusion 把模型放下,再用 patch 并行压单步时间,但组合后的陈旧误差要重新评估。
并行采样的适用边界
并行采样不是万能的。它有几个明确的前提:
- 单卡已成瓶颈:小分辨率单卡本来就快,拆分的通信占比反而高;
- 通信重叠做得好:异步通信要靠 CUDA stream 与算子调度配合,否则”陈旧 KV”带来的省下来的时间会被同步点吃掉;
- 模型结构允许:U-Net 的 skip connection 跨层、DiT 的同构 block,切片方式不同;切错 patch 边界会让拼接后的图像出现可见的接缝。
- 与 CFG 的交互:CFG 把批次翻倍,条件/无条件两路可以放到不同卡,这是另一条不依赖近似的方法——但它要求两路在每步结束时同步合成。
第四层:4-bit 量化——SVDQuant 为什么要在低秩分支上打主意
为什么扩散对 4-bit 比 LLM 更敏感
LLM 已经能把权重压到 4-bit 甚至更低,扩散模型却长期停在 FP16/FP8。原因在于激活分布的形态:扩散模型的激活里存在极度离群的特征通道(outlier),而离群值在 W4A4(权重和激活都 4-bit)下会被量化步长完全吞掉。传统的平滑(smoothing)方法把离群值从激活挪到权重上,但权重本身也有离群,挪来挪去只是把问题换个位置。
SVDQuant(Li 等人,2024 年,SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models,arXiv:2411.05007)的关键在于换了一种思路:不再”重新分配”离群,而是”吸收”离群。它用一个高精度的低秩分支把权重里的离群单独接住,主路径做 4-bit 量化。
低秩分支的数学形式
把权重矩阵 W∈Rdout×din 做奇异值分解:
W=UΣV⊤=j=1∑rσjujvj⊤离群值往往集中在前 r 个奇异方向上,所以把 W 拆成两项:
W=L+R,L=j=1∑rσjujvj⊤, R=W−L其中 L 是秩为 r 的离群分量(用 FP16 存),R 是”残差”——它去掉了离群,值域分布平缓,适合 4-bit 量化。前向计算变成:
y=Wx=FP16 低秩路径Lx+4-bit 主路径Dequant(R4bit)x4bitrank r 是唯一的超参数,论文的实验显示 r=16 左右就能接住大部分离群。4-bit 主路径是标准量化矩阵乘,低秩路径是一个 d×r 的 GEMM。对常见的 din=dout=3072(如 FLUX 的部分层),主路径的乘加量约为 30722x,低秩路径约为 2×3072×16x,占比约 1%,基本可以忽略;即使 rank 取到 64,占比也只有 4% 量级。
这个设计的一个隐蔽难点:4-bit 主路径的 GEMM 本身是访存友好的(读的字节少、算术密度高),但低秩路径是一个 FP16 GEMM,如果单独跑,会额外产生一次输入 x 的读取与一块 FP16 中间结果的写入。原本的 4-bit GEMM 好不容易把算术强度提上去,再插入一条 FP16 路径,整体可能反而更慢。SVDQuant 在 kernel 层面把两条路径融合:在同一个输出累加器上先做 4-bit MMA、再做低秩 GEMM,输入 x 只从共享内存读一次,输出也只写一次。这一步是”4-bit 能真的变快”的决定性环节,单靠存权重为 4-bit 是拿不到端到端收益的。

图上半是 FLUX.1-dev 的对比,从左到右是 BF16、NF4(W4A16)、朴素 INT4(W4A4)和 SVDQuant INT4(W4A4)。注意 LPIPS 一栏:朴素 W4A4 的 LPIPS 从 0.272 升到 0.322,图像明显劣化;SVDQuant 反而降到 0.223,同时 DiT 显存从 22.7 GiB 降到 6.5 GiB、端到端延迟从 111.7 s 降到 12.9 s。这个”量化后质量更好”的反常现象来自低秩分支——它保留了高精度路径,相当于把离群从主路径移走后,主路径的量化噪声不再被离群放大。下半 PixArt-Σ 的对比结构相同,朴素 INT4 的 LPIPS 直接到 0.762,SVDQuant 保持 0.323。
需要区分两个对比基准。论文摘要给出的口径是:在 16 GB 的 4090 笔记本上,INT4 相比 W4A16 仅权重量化基线快 3.0 倍;相比 BF16 端到端则是图上这组 111.7 s → 12.9 s。前者衡量的是”同样 4-bit 下,激活也量化能多赚多少”,后者才是用户真正感知的延迟。混淆这两个数字是读过摘要后最常见的误解。在 RTX 5090 上换用 NVFP4,论文报告相对 W4A16 有 3.1 倍加速。
W4A16 与 W4A4 的取舍
4-bit 有两个层级:只量化权重(W4A16,激活仍是 FP16),和权重激活都量化(W4A4)。两者的收益结构完全不同:
- W4A16 把权重读取量降到四分之一,主要解决显存与权重带宽;但前向时仍需把 4-bit 权重反量化成 FP16 再算,反量化的开销与激活的计算精度都保持高位。它对 batch 1、显存受限的场景最友好,也是 NF4 这类格式的形态;
- W4A4 让主路径真正跑在 4-bit MMA 上,算力吞吐相对 FP16 可以翻倍以上,同时激活的读写量也降到四分之一。代价是激活量化误差直接进入结果,对离群极其敏感——这正是朴素 W4A4 在 diffusion 上崩掉的原因。
SVDQuant 的意义在于让 W4A4 变得可用:低秩分支把离群搬到高精度路径,主路径才敢全 4-bit。也因此它的对比基线选的是 W4A16 而不是 BF16——只有和”已经省了权重”的方案比,才能看出激活量化额外赚了多少。
为什么 rank 这么小就够
从数值上看,扩散权重的前几大奇异值对应的方向几乎就是激活离群所投影的方向。如果把离群方向去掉,残差的奇异值谱会迅速衰减——这是低秩分解能成立的根本原因。所以”rank 太小”的典型症状是主路径里仍残留离群,LPIPS 缓慢升高;“rank 太大”的则是低秩路径的计算/显存收益被吃掉。论文的消融显示 rank 从 16 增加到 64 时,质量提升非常有限,而开销线性增加。

消融图把同一 prompt 下四种量化形态与 BF16 并列。FLUX.1-dev 的 BF16 参考 LPIPS 约 0.320,朴素 INT4 为 0.32 上下、画面出现明显色块与纹理丢失;INT4 加上低秩分支后降到约 0.223,NVFP4 加低秩进一步到约 0.208。说明低秩分支的价值独立于量化格式——无论 INT4 还是 FP4 分组,它都扮演”接住离群”的角色。这个结论对部署选型有直接影响:4-bit 的格式可以换,但低秩修正不能省。
Nunchaku 这类内核怎么做到真的更快
仅仅把权重存成 4-bit 并不会自动变快,因为 4-bit 需要专门的 MMA 指令与 kernel。Nunchaku 是 SVDQuant 的推理实现,它把低秩路径和 4-bit 主路径的 GEMM 融合到一起,并处理了扩散模型里几种特殊的算子形态:带 bias 的 Linear、融合了 LayerNorm/Scale 的 Linear、注意力的 QKV 投影等。工程上的重点在三处:
- 离群方向的处理:对每个 block 先统计激活的离群通道,固定一组”平滑方向”,让低秩分解在这一组方向上尽量集中;
- 低秩路径的 batching:低秩 GEMM 的 batch 维度通常与主路径不同(r 维很小),需要单独组织;
- 与 CFG 的兼容:CFG 下 batch 翻倍,低秩路径也要跟着翻倍,但离群方向是共享的,所以只算一次;
- 与 LoRA 的兼容:下游 LoRA 如果不重新量化就无法直接叠加到 4-bit 权重上。SVDQuant 的做法是把 LoRA 也视为一个低秩增量,与已有的低秩分支合并后再走同一条路径,从而避免重新量化整个模型。这一点对生态很关键:Flux 的社区资产大量以 LoRA 形式存在,不能兼容 LoRA 的 4-bit 引擎在实际部署里几乎没人用。
论文报告的实测口径是:FLUX.1 的显存降到原来的约三分之一(3.5 倍压缩),4090 上相对 BF16 的端到端延迟约快 8.7 倍,相对 W4A16 约快 3.0 倍。这三个数字分别对应”能不能装下""用户等多久""4-bit 内部还有多少余量”,评估时不要混用。
第五层:三条轴叠加时会发生什么
叠加不是线性相乘
把步数压缩、缓存、并行、量化叠在一起,加速比通常小于各自的乘积。三个原因:
- 瓶颈会转移。第七篇已经指出,步数从 50 降到 4 后,采样阶段省了 90%,VAE 解码与文本编码的占比上升;此时再做缓存,省的是已经很小的一段。
- 缓存与少步冲突。第七篇的观察在本篇同样适用:少步模型相邻步的噪声差更大,缓存能被安全复用的比例下降;如果沿用多步模型的缓存阈值,误差会直接变成可见的瑕疵。实际部署里,4 步模型通常直接关闭跨步缓存,或者把阈值上调数倍。
- 量化与缓存的误差耦合。4-bit 主路径本身的输出就有误差,缓存又引入一层近似;两者叠加后误差不是相加而是被采样轨迹放大。SVDQuant 的论文在 4 步模型上也做了评估,结论是低步数模型对量化更敏感,需要的 rank 或混合精度配比更高。
一个部署侧的决策顺序
综合上面的分析,一个务实的优化顺序是:
- 先量化权重与激活:它不依赖轨迹,收益与步数基本正交,4-bit 能把显存降 3–4 倍,直接换来更大的批;
- 再考虑并行:只在单卡确实撑不住高分辨率时才上,且要先确认通信能得到重叠;
- 缓存放在最后:它最依赖轨迹形态,与蒸馏关系最紧,需要在最终模型上单独调参。
这个顺序的理由是”误差容忍度”:量化误差可以靠低秩修正、混合精度补回来,是可控的;缓存误差直接作用在采样轨迹上,最难调试。把最难调的那条放在最优化的模型上,能少走很多回头路。
与本站其他工作的关系
- 扩散模型从零讲起(六):采样器完全拆解 讨论了”确定性采样更适合可缓存、可图捕获的服务管线”,本篇的缓存方法正是建立在这一前提上;
- 扩散模型从零讲起(七):少步蒸馏 里”步数越少、缓存收益越小”的结论,在本篇第二层得到了机制层面的解释;
- 视频侧,扩散模型从零讲起(五):视频扩散 的 DiTFastAttn、FasterCache 是跨步缓存在时空注意力上的扩展,与本文的注意力残差缓存同源;
- dLLM 侧的 扩散模型从零讲起(三):dLLM 推理系统 处理的是块级 KV 缓存,与图像扩散的跨步特征缓存在”什么时候可以复用”这个问题上判据不同,但记账方式一样。
第六层:被忽略的固定开销与请求级调度
文本编码器不是免费的
Flux 系列用 T5-XXL(约 47 亿参数)做文本编码,权重按 BF16 存约 9 GB,一次编码 512 token 的 prompt 在 A100 上要几十毫秒到上百毫秒。这个成本有两个特点:
- 与采样步数无关:25 步和 4 步的文本编码时间一样。第七篇讲过少步蒸馏后瓶颈会转移到非采样阶段,这就是最主要的一块;
- 可缓存:同一个 prompt 的文本嵌入是确定性的。生产服务通常按 prompt 的哈希缓存 embedding,命中时直接跳过编码器。对图生图、批量同 prompt 换 seed 的场景,命中率很高。
缓存文本嵌入还有一个显存上的好处:T5-XXL 的权重在编码完成后可以卸载,把显存让给采样循环的激活。多模型共存的部署里,这一条比速度更重要——文本编码器与 DiT 同时常驻会把显存预算撑爆。
VAE 解码的峰值与分块
潜空间扩散的终点是一次 VAE 解码。第四篇讲过,解码的显存峰值往往高于采样阶段本身,因为解码要一次性把全部潜空间展开成 H×W×3 的输出。1024×1024 的输出在 FP16 下约 6 MB,看似不大,但解码器的中间激活(尤其是上采样层)会放大数十倍。
工程上有三种处理方式:
- 分块解码(tiling):把潜空间切成重叠的小块分别解码再拼接。重叠区用来消除接缝,代价是重复计算边缘;显存峰值随块大小而不是全图大小增长。这是高分辨率部署的常规手段,Flux 与 SDXL 的 pipeline 都提供该选项;
- 轻量解码器:TAESD 一类的小型自编码器只有几百万参数,解码延迟降到毫秒级,代价是细节与文字渲染质量下降。它适合做”预览图”,让用户在完整解码前先看到构图;
- 解码与下一请求重叠:解码是纯前馈、不依赖采样循环的后续步骤,可以与下一个请求的采样并行,用两条 CUDA stream 交替。
请求级调度:扩散服务与 LLM 服务的结构差异
LLM 服务的连续批处理(continuous batching)有一个隐含前提:每个请求每步只生成一个 token,步与步之间请求可以随时加入退出。扩散服务的步粒度粗得多——每一步是全图的一次完整前向,耗时在几十毫秒量级,且每个请求有自己的 latent、时间步、文本条件与采样器状态。这带来几个结构性差异:
- 批内必须同步:一个 batch 里的所有请求共享同一次前向,因此必须处在同一步、同一分辨率、同一模型。请求若在采样中途加入,只能等当前 batch 结束或单独开一个 batch;
- 调度窗口更粗:LLM 可以在 token 级插入新请求,扩散只能在步级甚至请求级插入。批大小对吞吐的收益因此更依赖”同时到达的请求数”,而不是”队列长度”;
- 缓存是请求内的:跨步缓存的状态(上一份残差、累计误差)属于请求自己的采样轨迹,批处理时每个请求的缓存状态不同,“哪些请求走完整前向、哪些复用”必须逐个判定。这会破坏 batch 的整齐性——一种处理是把需要重算的请求单独组批(ragged batch),另一种是让整批按最保守的请求一起重算,牺牲吞吐换实现简单。
流式生成场景(如实时预览、交互式绘图)还有一层:用户可能在生成中途改变 prompt 或参数。Diffusion 的采样轨迹是全局耦合的,中途改条件只能从当前 latent 重新开始,不能像 LLM 那样在 token 边界续写。这让”交互式扩散”的系统设计更接近”短任务重跑”,而不是”长连接续写”。
一次完整的数字账
把上面的所有项放在一起,用 SVDQuant 论文给出的 FLUX.1-dev 口径做一个示例(单张 4090、25 步、1024×1024、单请求):
| 阶段 | BF16 | SVDQuant 4-bit | 说明 |
|---|---|---|---|
| DiT 权重常驻 | 22.7 GiB | 6.5 GiB | 含文本编码器卸载后的 DiT 部分 |
| 采样循环 | 约 100 s | 约 10 s | 25 步 × CFG 两路 |
| 端到端 | 111.7 s | 12.9 s | 含文本编码与 VAE 解码 |
这张表说明了固定开销的意义:BF16 下采样占约 90%,4-bit 下降到 12.9 s 后,采样只占约 78%,其余是文本编码与解码。如果把 4-bit 再叠上 4 步蒸馏,采样降到 1–2 s,端到端就会被固定开销主导——那时优化对象必须换成文本嵌入缓存与轻量解码器,而不是继续压 DiT。
第七层:SGLang 与 TensorRT 在扩散上的落地形态
为什么要给扩散单独做引擎
LLM 推理引擎(vLLM、SGLang)的核心抽象是”token 级连续批处理 + KV 分页”,这套抽象移植到扩散上并不成立:扩散没有 KV 增长,每步是全图前向,请求之间共用同一次计算的前提是同步到同一步。于是工程上出现了两种迁移路径:一种是把扩散 pipeline 当作”黑盒前向”塞进通用引擎,用请求级批处理管理它;另一种是给扩散单独设计引擎,吸收 LLM 引擎里与步无关的部分(内存池、调度、图捕获)。
SGLang 的 diffusion 后端属于后者。它复用 SGLang 已有的请求队列与内存管理,但把批处理单位从 token 换成”步内批次”:一个 batch 里的所有请求必须在同一时间步,调度器按”当前批次能否再加入一个请求”做准入,而不是像 LLM 那样每 token 重新组批。这样能拿到几种实际好处:
- CUDA Graph 捕获:步的形状(batch、分辨率、模型)确定后,整步前向可以捕获成一张图,跳过 Python 调度与 kernel 启动开销。扩散的单步比 LLM 的单 token 计算重得多,图捕获的收益在少步模型上尤其明显;
- 批内形状对齐:同一 batch 请求统一到相同分辨率,避免 ragged batch 导致的 kernel 重编译;
- 与量化内核的配合:Nunchaku 的 4-bit kernel 可以在同一引擎里按模型切换,无需另起一套服务。
TensorRT 路线的形态不同:它把整条采样循环(含调度器更新)导出成一个引擎,追求把每步的算子融合到极致。优势是延迟下限低、显存占用可控;代价是灵活性差——换 scheduler、改步数、动态分辨率都要重新构建引擎。工程上常见的选择是:需要快速支持新模型、新 LoRA,用 SGLang + Nunchaku;追求极低延迟、模型固定,用 TensorRT。
服务层的几个现实约束
- 多分辨率请求:图生图或不同客户端的请求分辨率不同,同一 batch 无法共用前向。常见做法是按分辨率分桶,桶内批处理,桶间共享 GPU 但串行执行;
- 取消与超时:用户在流式预览里放弃生成的请求,必须在步边界上检查取消标志并跳过其输出,不能等整条 pipeline 跑完;
- seed 与可复现:确定性采样下同一 seed 输出一致,但一旦启用跨步缓存或 4-bit 量化,某些 kernel 的累加顺序会改变,跨设备的 bitwise 一致性就无法保证。对外提供”相同输入相同输出”承诺的服务需要关闭这些优化,或者只保证语义级一致。
这几条说明扩散服务不能用 LLM 服务的直觉套模板:它的批、取消、可复现性边界都与 token 级引擎不同,引擎层必须显式处理。
第八层:调优方法论与常见坑
先定位瓶颈,再选工具
三条轴的收益都依赖瓶颈位置,所以第一步永远是 profile 而不是调参。一个可操作的顺序:
- 用
torch.profiler或 Nsight Systems 抓一次完整请求,把时间按”文本编码 / 每一步前向 / 每步内的 GEMM 与注意力 / VAE 解码”分层统计; - 若单步前向里 GEMM 占大头且 GPU 利用率低,先看是不是访存瓶颈(batch 太小、权重读取受限),量化的收益会最大;
- 若单步前向里注意力占大头、且序列长,先考虑并行或稀疏注意力,量化的收益有限;
- 若相邻步的输出差异(用余弦相似度测)在后期很高,才值得上跨步缓存;
- 若端到端里固定开销超过 20%,先解决文本编码与解码,别碰采样循环。
这个顺序的价值在于避免”优化了不占时间的部分”。实践中很常见的一种情况是:团队花两周把采样循环优化了 30%,端到端只降了 12%,因为文本编码器每次请求都重新加载权重。
坑一:缓存的判定量与模型绑定
TeaCache 的重标定系数、DeepCache 的缓存区间、FBCache 的首块阈值,都是在特定模型上拟合/调出来的。换模型、换分辨率、换 scheduler 都会改变相邻步差异的尺度。一个可复现的做法是:在新模型上用 20–50 个 prompt 跑校准,记录”缓存间隔 vs LPIPS/CLIP”的曲线,选一个质量损失可接受的点,而不是照搬论文的阈值。
坑二:CFG 让缓存收益打折
CFG 开启时每步两次前向,条件与无条件分支的差异往往比相邻步的差异更大。一些实现(如第五篇提到的 FasterCache 的 CFG-Cache)在同一步内复用两个分支的中间特征,这是另一条独立于跨步缓存的路径。但要注意:无条件分支的语义与条件分支不同,直接复用会让引导强度失真,表现为图像”不够听话”或过饱和。可用的做法是只复用浅层特征,深层仍分开算。
坑三:量化后的数值溢出
4-bit 激活量化的一个实际问题是 outlier 通道的动态范围。SVDQuant 的低秩分支处理了权重侧的离群,但激活侧仍有少量极端值;如果 per-tensor 量化,一个离群通道会把整层的量化步长拉大。工程上通常用 per-group(如 64 或 128 一组)量化 + FP16 累加。累加精度尤其关键:4-bit MMA 的输出要在 FP32 累加器上累加,否则长序列注意力的 softmax 输入会出现可见偏差。
坑四:并行采样的接缝
patch 并行的误差不只来自陈旧 KV,还来自 patch 边界。每个 patch 需要一圈 halo(感受野重叠),halo 太窄会让边界处的注意力缺少上下文,表现为图像上出现网格状接缝或局部模糊。DistriFusion 的做法是让 halo 覆盖注意力所需的完整范围,并在拼接时只取中心区域。这个细节在实现里很容易漏,尤其是当模型使用窗口注意力或卷积下采样时,感受野会跨 patch 扩展。
坑五:把”训练无关”当成”无需验证”
DeepCache、TeaCache、DistriFusion、SVDQuant 都强调 training-free,但 training-free 只意味着不需要重新训练,不意味着不需要重新评估。四类方法的误差都会随模型、分辨率、prompt 分布变化,上线前必须用固定的评估集(含文字渲染、人脸、细密纹理这几类难例)逐项对比。LPIPS 对纹理退化敏感、对文字错误不敏感;CLIP score 对构图变化不敏感。单一指标不足以做上线判断。
关于系列到这里的位置
前七篇加这一篇,把扩散模型从数学主线(DDPM、DDIM、score、Flow Matching)、离散扩散与 dLLM 服务、潜空间与视频结构、求解器与少步蒸馏,一直讲到本篇的推理工程三轴,基本覆盖了一个扩散系统”从公式到线上服务”的主要链路。
如果继续往下展,剩下的有价值方向大致有三个:
- 图生图、局部重绘、可控生成的控制通路成本:这些任务的请求形态与文生图不同(多一张条件图、多一个掩码),条件注入的注意力开销、VAE 编码的开销都会进入延迟账,与本文讨论的步数、缓存、并行、量化的交互方式也不同;
- 流匹配与蒸馏在视频侧的结合:视频的 token 数远大于图像,大参数模型上并行与量化的收益比图像侧更大,但流水线气泡与陈旧误差也随之放大;
- 服务层的多模型共存与显存调度:文生图、图生图、视频生成共用一套 GPU 池时,模型卸载与重载的代价、文本编码器与 VAE 的常驻策略,都是本文”请求级调度”一节的延伸。
这三个方向都建立在本文的记账方式上:先拆固定开销与可变开销,再看哪条轴的误差可以在可接受范围内吸收。
小结
- 一次扩散请求的延迟可以拆成文本编码、采样循环、VAE 解码三段,采样循环通常占 80% 以上,因此三条工程轴的落点都在这里。
- 跨步缓存的本质是”近似”而非”复用”:误差经剩余层的雅可比连乘放大,越靠后的层越安全;连续多步使用同一缓存会让误差反馈到轨迹上。
- DeepCache 在 U-Net 上整段复用 encoder 的高层特征,缓存步只跑 decoder;DiT 因为 block 同构、无跨层连接,转向缓存注意力残差(TeaCache 一类)与更细的粒度。
- TeaCache 用时间步嵌入的相对 L1 距离做判据,经多项式重标定后累计误差、超阈重算;重标定系数与模型绑定,换模型必须重拟合。
- 并行采样(DistriFusion、PipeFusion)用陈旧 KV/feature 替换逐步同步,把通信移出关键路径;收益上限由通信/计算比决定,高分辨率才有意义。
- SVDQuant 用高精度低秩分支吸收权重离群,主路径 4-bit;rank 16 左右足够,低秩路径需与主路径融合成单 kernel 才能拿到实际加速。
- 三条轴叠加不是线性相乘:瓶颈转移、缓存与少步冲突、误差耦合是三个主要损耗来源;务实顺序是先量化、再并行、最后调缓存。
- 少步模型上固定开销会成为主导项:文本嵌入缓存、VAE 分块解码与轻量预览解码器是这一阶段的主要优化对象,继续压 DiT 的边际收益迅速下降。
- 扩散服务不能用 LLM 引擎的直觉套模板:批内必须同步到同一步、调度窗口在步级、缓存状态属于单个请求;引擎层需要显式处理多分辨率分桶、步边界取消与可复现性边界。
- 四条常见坑:判定量与模型绑定、CFG 让缓存收益打折、4-bit 激活溢出的累加精度、patch 并行接缝处的 halo。训练无关不等于无需验证,上线前必须在含文字、人脸、细密纹理的难例集上逐项评估。
参考资料
- DeepCache: Accelerating Diffusion Models for Free
- DeepCache(HTML 全文,含算法与缓存路径图)
- Timestep Embedding Tells: It’s Time to Cache for Video Diffusion Model(TeaCache)
- TeaCache(HTML 全文,含阈值调度图与缓存结果)
- DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models
- DistriFusion(HTML 全文,含异步通信示意与 8 卡实验)
- PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference
- PipeFusion(HTML 全文)
- SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models
- SVDQuant(HTML 全文,含 rank 消融与 NVFP4 对比)
- Nunchaku:SVDQuant 的推理实现
- Diffusers 库(scheduler 与 pipeline 实现)
- SGLang 多模态生成模块源码(multimodal_gen)
- SGLang 官方文档
- xDiT:支持 DistriFusion 与 PipeFusion 的 DiT 并行推理框架
- TensorRT 仓库
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



