扩散模型从零讲起(十三):引导完全拆解——CFG、负向提示词与引导蒸馏

15670 字
78 分钟
扩散模型从零讲起(十三):引导完全拆解——CFG、负向提示词与引导蒸馏

写在前面:每个文生图接口里都藏着一个没人解释的参数

打开任何一个文生图模型的 API 或配置文件,都会看到同一个参数:guidance_scale。Stable Diffusion 1.5 的默认值是 7.5,SDXL 常见 5 到 7,SD3 与 FLUX 常见 3.5,也有模型直接不接受这个参数。用户被反复告知”这个值调高更听话、调低更有创意”,却很少有人讲清楚:这个数乘在了什么上面,为什么调高会同时带来”更贴合提示词”和”画面过饱和、颜色烧焦”两个矛盾的后果,以及为什么开启它会让每一步的前向计算变成两次。

这个参数就是引导(guidance)的强度。它是扩散模型从”能生成像样的图”走到”能按文字要求生成图”之间最关键的一级台阶,也是推理成本账上最大的一项隐藏开销:一次 30 步的文生图请求,如果 CFG 开启,实际跑的是 60 次主干前向,而不是 30 次。这个系列讲到第十三篇,前面已经把扩散的数学骨架、离散扩散、潜空间、视频、采样器、蒸馏、加速、架构、音频、三维和连续时间 SDE 都走了一遍,但引导始终只是作为配角在各篇里被顺带提一句。它值得单独一篇,因为它同时是概率论、训练目标设计和推理系统工程三件事的交汇点。

这一篇要回答的问题按顺序是:

  1. 条件扩散模型明明学过 p(x∣c)p(x\mid c),为什么直接从它采样得到的图”不够听话”?
  2. 分类器引导(classifier guidance)怎样用一个外挂分类器的梯度把条件概率”锐化”,它的代价是什么?
  3. CFG(classifier-free guidance)如何用一次贝叶斯恒等式把分类器消掉,为什么训练时要随机丢掉条件?
  4. 负向提示词(negative prompt)为什么能生效,它和”不写负向提示词”在数学上到底差在哪?
  5. 引导开大之后画面为什么会”烧焦”,工业界用哪些手段(动态阈值、CFG rescale、x0x_0 参数化)把它救回来?
  6. 推理侧怎么把这第二次前向省掉:引导蒸馏、引导区间、双分支批处理、分支并行,各自的收益与前提是什么?
  7. 一次请求实际跑了几次前向,这笔账怎么算才不会被调度器骗?

一、条件扩散的”顺从度”问题

1.1 从 p(x)p(x) 到 p(x∣c)p(x\mid c)

无条件扩散模型学的是数据分布 p(x)p(x),采样时从纯噪声出发,沿着学到的分数场走回数据流形,得到”一张像训练数据的图”,但内容不受控。条件扩散模型在训练时见到的是成对数据 (x,c)(x,c),其中 cc 是类别标签、文本嵌入或者图像条件,网络从 ϵθ(xt,t)\epsilon_\theta(x_t,t) 变成 ϵθ(xt,t,c)\epsilon_\theta(x_t,t,c),学到的目标是条件分布 p(x∣c)p(x\mid c)。

按第一篇文章的推导,条件扩散的训练损失仍然是对噪声的回归,只是网络多了一个条件输入:

Lcond(θ)=Ex0,c,t,ϵ[∥ϵ−ϵθ(αˉt x0+1−αˉt ϵ, t, c)∥2]\mathcal{L}_{\text{cond}}(\theta)=\mathbb{E}_{x_0,c,t,\epsilon}\left[\left\|\epsilon-\epsilon_\theta\left(\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\,t,\,c\right)\right\|^2\right]

这里的 x0x_0 是干净样本,cc 是条件,tt 是时间步,ϵ∼N(0,I)\epsilon\sim\mathcal{N}(0,I) 是采样到的噪声,αˉt\bar\alpha_t 是前向链累积的信号系数。这个损失的含义很直接:给定带噪样本和条件,预测当初加进去的噪声。

训练好之后,只要把 cc 固定成目标提示词,从 xT∼N(0,I)x_T\sim\mathcal{N}(0,I) 出发逐步反向去噪,理论上就是在从 p(x∣c)p(x\mid c) 采样。这套流程在很多任务上确实能出图,但实际效果有一个稳定的偏差:图的内容和提示词的对应关系偏弱。写”一只戴着礼帽的柴犬在雨中撑伞”,得到的可能是一只普通的狗,礼帽和伞时有时无;写”红色的跑车”,车身颜色常常偏暗或者夹着别的颜色。

1.2 这不是训练不够,而是目标本身太宽

直觉上人们会认为这是模型没学好,加大模型、加多数据就能解决。但问题出在目标分布的形状上,不是拟合精度。

一条文本描述通常只约束图像的少数几个属性,剩下的大量自由度(构图、背景、光照、纹理、物体姿态)在 p(x∣c)p(x\mid c) 里都是”任意”的。训练集中满足同一句描述的图像可能有几万张,它们彼此差异巨大,于是 p(x∣c)p(x\mid c) 是一个覆盖范围极广、熵很高的分布。从这个分布里独立采样,得到的是”某一张符合描述的图”,模型没有义务把每一条描述都体现得特别强烈——因为在训练分布里,“大致符合”和”严格符合”的样本都算合法。

更麻烦的是训练数据的标注质量。以 LAION 这类网络爬取数据集为例,图像对应的文本多是网页的 alt 文本、商品标题或者图注,长度短、信息残缺、常常和图像内容只有部分相关。模型学到的 p(x∣c)p(x\mid c) 因此带着不小的条件噪声:即使 cc 里写了”礼帽”,训练集中也有相当比例标着”礼帽”却看不清帽子的图。把这些样本平均进去,条件分支的输出自然偏向”温和地体现条件”,而不是”强烈地体现条件”。

还有一个容易被忽略的因素:在高噪声阶段(tt 接近 TT),输入几乎全是噪声,条件信号本来就难以分辨,条件分支与无条件分支的输出差异很小。而反向采样的前若干步恰恰决定了大尺度构图。也就是说,最需要条件约束的阶段,模型给出的条件信号最弱。

1.3 用户想要的其实是另一个分布

把这三个原因放在一起,可以得出一个结论:用户嘴上说”我要一张符合 cc 的图”,实际想要的不是 p(x∣c)p(x\mid c) 的任意一个样本,而是这个分布里条件特征特别典型的那一部分。用统计语言说,用户想要的是一个被”锐化”过的分布——条件 cc 成立的程度被放大,牺牲一部分多样性换取更强的条件一致性。

这正好对应机器学习里的一个经典操作:把分类器的输出做温度缩放,或者把后验概率取幂。如果有一个理想的判别器能告诉我们”这张图有多符合 cc“,那么把它的判断以指数方式加权,就能把分布锐化。引导的全部数学,就是围绕”怎样得到这个锐化项、怎样不额外训练一个判别器”展开的。

1.4 贝叶斯公式给出的锐化方向

设 pt(xt)p_t(x_t) 是加噪到 tt 时刻的边缘分布,pt(xt∣c)p_t(x_t\mid c) 是条件分布,pt(c∣xt)p_t(c\mid x_t) 是”给定带噪样本时条件成立的后验”。贝叶斯公式给出:

pt(xt∣c)=pt(xt) pt(c∣xt)pt(c)p_t(x_t\mid c)=\frac{p_t(x_t)\,p_t(c\mid x_t)}{p_t(c)}

两边取对数再对 xtx_t 求梯度。pt(c)p_t(c) 与 xtx_t 无关,梯度为零,于是:

∇xtlog⁡pt(xt∣c)=∇xtlog⁡pt(xt)+∇xtlog⁡pt(c∣xt)\nabla_{x_t}\log p_t(x_t\mid c)=\nabla_{x_t}\log p_t(x_t)+\nabla_{x_t}\log p_t(c\mid x_t)

这个式子是整篇的地基,值得逐项读一遍:

  • ∇log⁡pt(xt)\nabla\log p_t(x_t) 是无条件分数,指向”更像训练数据”的方向,由无条件分支给出;
  • ∇log⁡pt(c∣xt)\nabla\log p_t(c\mid x_t) 是后验分数,指向”更像条件 cc“的方向;
  • 两者相加,就得到条件分数。

它说明:条件生成并不需要模型重新学一套完全不同的东西,它等于”无条件生成”加上”一个指向条件的方向”。

引导就是在这个和式上动手脚。如果想让条件更强,就把第二项乘上一个大于 1 的系数:

∇~xtlog⁡pt(xt∣c)=∇xtlog⁡pt(xt)+s ∇xtlog⁡pt(c∣xt),s>1\tilde{\nabla}_{x_t}\log p_t(x_t\mid c)=\nabla_{x_t}\log p_t(x_t)+s\,\nabla_{x_t}\log p_t(c\mid x_t),\qquad s>1

ss 就是引导强度(guidance scale)。这个式子的分布解释是:它对应一个”把条件后验取 ss 次幂”的分布。当 s=1s=1 时退化回原始条件分布;ss 越大,采样越集中在”判别器最有把握认为符合 cc“的区域。

问题只剩下一个:∇log⁡pt(c∣xt)\nabla\log p_t(c\mid x_t) 怎么算?这就是分类器引导和 CFG 的分岔点。

二、分类器引导:用一个外挂分类器的梯度来锐化

2.1 来源与基本思路

分类器引导(classifier guidance)由 Dhariwal 与 Nichol 在 2021 年的论文 Diffusion Models Beat GANs on Image Synthesis 中系统提出。两位作者此前在 Improved Denoising Diffusion Probabilistic Models 里改进过的 U-Net 架构与噪声日程,是这篇论文的实验基础。论文摘要对引导的定位写得很准确:它是一种简单、计算高效的方法,用分类器的梯度在”多样性”与”保真度”之间做权衡(trade off diversity for fidelity),效果上类似于其他生成模型里的低温度采样或截断采样。最终报告的 FID 为 ImageNet 128×128 上的 2.97、256×256 上的 4.59、512×512 上的 7.72,并且能在每个样本只用 25 次前向的情况下追平 BigGAN-deep。

思路非常直接:既然需要 ∇log⁡pt(c∣xt)\nabla\log p_t(c\mid x_t),那就训练一个分类器 pϕ(c∣xt)p_\phi(c\mid x_t),让它吃”加噪到 tt 时刻的样本”、输出类别概率,然后对其对数求梯度。分类器训练完就冻结,不参与扩散模型本身的训练。

这里有一个容易被忽略但极其关键的设计:分类器是在加噪样本上训练的。训练数据是前向加噪过程产生的 (xt,t,c)(x_t,t,c) 三元组,而不是干净图像。原因在于引导发生在采样的每一步,每一步的输入都是带噪的 xtx_t,分类器必须在和采样时一致的输入分布上工作。如果在干净图上训练、直接拿带噪图去求梯度,梯度会完全跑偏。

2.2 修改后的采样公式

在 DDPM 的反向采样中,每一步原本是用网络预测的均值 μθ(xt,t)\mu_\theta(x_t,t) 和方差 Σθ(xt,t)\Sigma_\theta(x_t,t) 得到一个高斯:

pθ(xt−1∣xt)=N(xt−1; μθ(xt,t), Σθ(xt,t))p_\theta(x_{t-1}\mid x_t)=\mathcal{N}\left(x_{t-1};\,\mu_\theta(x_t,t),\,\Sigma_\theta(x_t,t)\right)

引导把这个分布改动一下,改成:

pθ,ϕ(xt−1∣xt,c)≈N(xt−1; μθ(xt,t)+s Σθ(xt,t) ∇xtlog⁡pϕ(c∣xt), Σθ(xt,t))p_{\theta,\phi}(x_{t-1}\mid x_t,c)\approx\mathcal{N}\left(x_{t-1};\,\mu_\theta(x_t,t)+s\,\Sigma_\theta(x_t,t)\,\nabla_{x_t}\log p_\phi(c\mid x_t),\,\Sigma_\theta(x_t,t)\right)

读这个式子要看三个量:

  • μθ(xt,t)\mu_\theta(x_t,t) 是原本的条件无关预测均值;
  • Σθ(xt,t)\Sigma_\theta(x_t,t) 是这一步的反向方差,也就是”这一步能走多远”的尺度;
  • ∇xtlog⁡pϕ(c∣xt)\nabla_{x_t}\log p_\phi(c\mid x_t) 是指向”更像类别 cc“的方向。

三者相乘再乘引导强度 ss,得到一步的偏移量。Σ\Sigma 出现在这里的理由来自高斯分布的性质:若 x∼N(μ,Σ)\mathbf{x}\sim\mathcal{N}(\mu,\Sigma),要从它采样出一个偏向某方向 u\mathbf{u} 的样本,对应分布 N(μ+Σu,Σ)\mathcal{N}(\mu+\Sigma\mathbf{u},\Sigma),即把均值平移 Σu\Sigma\mathbf{u}。也就是说,协方差矩阵充当了度量,把”分数方向”换算成”实际坐标偏移”。在 DDPM 里 Σθ=βtI\Sigma_\theta=\beta_t I 或者 β~tI\tilde\beta_t I(标量乘单位阵),这个式子就退化成加上 βts\beta_t s 乘以梯度。

2.3 为什么它能工作:从”平均”到”选择”

第 1.4 节的贝叶斯恒等式说明引导的方向是对的,但还需要解释它为什么能改善质量,而不只是让图”变艳”。

分类器 pϕ(c∣xt)p_\phi(c\mid x_t) 估计的是”这张带噪样本是类别 cc 的概率”。当训练数据丰富时,模型会学到”什么样的局部纹理、什么形状的轮廓更常出现在类别 cc 的图里”。把它的梯度加到反向步骤上,相当于在每一步都问一句”要往哪边动,这一步的结果才更像 cc“,然后往那边多走一点。这会在采样中同时做两件事:

第一,抑制跨类别混合。原始条件采样的失败模式之一,是生成的图在局部上像 cc、整体上又夹着别类的特征,比如生成”柯基”时混入”金毛”的毛色。这类样本在 p(x∣c)p(x\mid c) 里是合法的低概率样本,但用户不想要。分类器的梯度会把采样推离这些边界区域。

第二,放大典型的类别特征。在训练分布里,某些视觉特征对类别 cc 的判别力特别强。分类器梯度会沿这些方向持续推动,采样的终点因此落在”该类别最有代表性的区域”。

论文对引导的定位写得很清楚:它是在”多样性”与”保真度”之间做权衡的方法,而不是无条件改善质量的技巧。最终报告的 FID(128×128 上 2.97、256×256 上 4.59、512×512 上 7.72)是架构改进与引导共同作用的结果;论文同时说明,引导还能与上采样模型组合,把 256×256 的 FID 进一步降到 3.94,并在每个样本只用 25 次前向的情况下追平 BigGAN-deep。这批实验确立了”引导 = 用判别信号锐化生成分布”这个范式。

2.4 代价一:必须额外训练一个分类器

分类器引导的第一个代价是工程上的:你的系统里多了一个模型。它必须:

  • 针对每个条件类型单独训练(类别标签一个分类器、文本条件很难做分类器);
  • 在加噪样本上训练,意味着要重新跑一遍前向加噪;
  • 在推理时多跑一次前向(分类器和主干模型各一次),而且分类器的梯度还要反传到输入。

对于类别条件这种事,成本可以接受。对于文本条件,问题就严重了——“给定一段文本,判断一张图是否匹配”是一个复杂的跨模态判别问题,把这样的判别器训练到足够可靠,难度并不低于直接训练生成模型。此外还有一个隐蔽的问题:分类器可以在训练集上学得很好,但它对”采样过程中模型生成的、不在训练集里的样本”判断未必可靠,这会导致引导在远离数据流形的地方失效。

2.5 代价二:分布失配与对抗样本

更根本的代价在于分类器的判别行为。分类器 pϕ(c∣xt)p_\phi(c\mid x_t) 的训练目标是”在数据分布上分类正确”,它并不关心”梯度方向是否合理”。当采样沿着它的梯度走出训练分布时,分类器输出的梯度可能不再有意义——这与对抗样本的机制是同一回事:微小地偏离数据流形,分类器的置信度就可能剧烈变化,梯度方向也随之扭曲。引导开到较大时,采样轨迹会被这些不可靠的梯度推向”分类器认为像 cc、但视觉上已经不像真实数据”的区域。这一点在第 5 节关于”画面烧焦”的讨论中还会以更具体的形态出现。

三、CFG:用贝叶斯恒等式把分类器消掉

3.1 一句关键的观察

分类器引导的困境是”需要一个可靠的 ∇log⁡pt(c∣xt)\nabla\log p_t(c\mid x_t)“。CFG 的出发点是一个代数观察:这个后验分数可以直接从条件分数与无条件分数之差构造出来,不需要分类器。

回到贝叶斯恒等式:

∇xtlog⁡pt(xt∣c)=∇xtlog⁡pt(xt)+∇xtlog⁡pt(c∣xt)\nabla_{x_t}\log p_t(x_t\mid c)=\nabla_{x_t}\log p_t(x_t)+\nabla_{x_t}\log p_t(c\mid x_t)

把最后一项移到左边:

∇xtlog⁡pt(c∣xt)=∇xtlog⁡pt(xt∣c)−∇xtlog⁡pt(xt)\nabla_{x_t}\log p_t(c\mid x_t)=\nabla_{x_t}\log p_t(x_t\mid c)-\nabla_{x_t}\log p_t(x_t)

只靠恒等式还不够,因为右边出现了 log⁡pt(xt∣c)\log p_t(x_t\mid c) 和 log⁡pt(xt)\log p_t(x_t) 两种分布的分数。但扩散模型有一个巧妙的性质:训练条件模型时,以一定概率把条件置空,同一个网络就能同时充当条件模型与无条件模型。如果把条件换成空符号 ∅\varnothing,网络学到的是 pt(xt∣∅)p_t(x_t\mid\varnothing);当训练数据中空条件与真实条件按固定比例混合时,网络对空条件的输出就近似无条件分布 pt(xt)p_t(x_t) 的分数(近似程度取决于空条件的比例和训练细节)。

于是,只要训练一个网络 ϵθ(xt,t,c)\epsilon_\theta(x_t,t,c),就同时得到了两种分数。把它们相减,就得到后验分数。这个想法由 Ho 与 Salimans 在 2022 年的论文 Classifier-Free Diffusion Guidance 中提出,它的核心在于:分类器不需要存在,因为”条件模型减去无条件模型”本身就是分类器。

3.2 从分数到噪声预测的换算

网络输出的是预测噪声 ϵθ\epsilon_\theta,不是分数。两者的关系在第一篇推导过:

∇xtlog⁡pt(xt∣c)=−11−αˉt ϵθ(xt,t,c)\nabla_{x_t}\log p_t(x_t\mid c)=-\frac{1}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t,t,c)

这里的 αˉt=∏i=1t(1−βi)\bar\alpha_t=\prod_{i=1}^{t}(1-\beta_i) 是前向链累积的信号保留系数,1−αˉt1-\bar\alpha_t 是累积噪声方差。负号出现是因为噪声指向”数据密度降低的方向”,而分数指向”密度升高”的方向,二者方向相反。

把上式代入第 1.4 节的引导公式,并把”后验分数”换成”条件与无条件噪声预测之差”:

ϵ~θ(xt,t,c)=ϵθ(xt,t,∅)+s(ϵθ(xt,t,c)−ϵθ(xt,t,∅))\tilde\epsilon_\theta(x_t,t,c)=\epsilon_\theta(x_t,t,\varnothing)+s\left(\epsilon_\theta(x_t,t,c)-\epsilon_\theta(x_t,t,\varnothing)\right)

这就是 CFG 最常见的写法。ss 是引导强度。这个式子的结构非常直观:从”无条件预测”出发,沿”条件带来的偏差”方向外推 ss 倍。

需要特别指出的是参数化的差异。原论文写作 ww 的形式:

ϵ~θ=(1+w) ϵθ(xt,t,c)−w ϵθ(xt,t,∅)\tilde\epsilon_\theta=(1+w)\,\epsilon_\theta(x_t,t,c)-w\,\epsilon_\theta(x_t,t,\varnothing)

把两式展开对比:(1+w)ϵc−wϵ∅=ϵ∅+(1+w)(ϵc−ϵ∅)(1+w)\epsilon_c-w\epsilon_\varnothing=\epsilon_\varnothing+(1+w)(\epsilon_c-\epsilon_\varnothing),即 s=1+ws=1+w。原论文的 ww 从 0 开始计数,w=0w=0 是无引导;工程实现里的 ss 从 1 开始计数,s=1s=1 是无引导。所以论文中的 w=3w=3 对应实现里的 guidance_scale=4。不同论文与框架两套记号混用时,同一个数值的含义可能完全不同,这是阅读配置文件时最容易出错的地方之一。本系列后续统一使用 ss 记号。

3.3 当网络输出 x0x_0 或速度时

CFG 只在”预测噪声”这个参数化下才有上面这么干净的形式。许多现代模型(如 SDXL 的某些 sampler 配置、EDM 系、Flow Matching 系)网络输出的是 x^0\hat x_0 或速度 vv。这时引导怎么做?

答案是:先在同一个参数化内部做线性外推,再用该参数化对应的反向公式。例如网络输出 x^0\hat x_0 时:

x~0(xt,t,c)=x^0(xt,t,∅)+s(x^0(xt,t,c)−x^0(xt,t,∅))\tilde x_0(x_t,t,c)=\hat x_0(x_t,t,\varnothing)+s\left(\hat x_0(x_t,t,c)-\hat x_0(x_t,t,\varnothing)\right)

然后把 x~0\tilde x_0 换算回下一步需要的量。对 DDPM 的标准反向步骤,可以从 x^0\hat x_0 恢复噪声预测:

ϵ~=xt−αˉt x~01−αˉt\tilde\epsilon=\frac{x_t-\sqrt{\bar\alpha_t}\,\tilde x_0}{\sqrt{1-\bar\alpha_t}}

这种”在合适参数化里外推”的做法有一个重要优点,会在第 5 节看到:x^0\hat x_0 是有界量(图像像素或 latent 取值有界),引导外推后的 x~0\tilde x_0 可以直接被截断到合法范围,从而抑制过饱和。而噪声预测没有天然上界,外推会持续放大。

3.4 训练侧必须做的改动:随机丢弃条件

CFG 要求同一个网络既能”带条件”又能”不带条件”地工作。做法是在训练时对每个样本独立地以概率 pdropp_{\text{drop}}(常见取 10%)把条件替换成空符号:

# 训练循环中的一个片段,B 为批大小
import torch
def drop_condition(cond, null_cond, p_drop=0.1):
"""cond: [B, D] 条件嵌入;null_cond: [D] 可学习的空条件嵌入"""
keep = torch.rand(cond.shape[0]) >= p_drop # 每个样本独立判定
cond = cond.clone()
cond[~keep] = null_cond # 被丢弃的样本换成空符号
return cond

这里有两个设计细节值得说明。

第一,空条件符号是一个可学习的嵌入(论文附录中说明它可以是与真实条件嵌入同维度的可训练向量)。它不必是”零向量”或”某个类别名”,因为模型只需要一个能被稳定识别为”无信息”的输入。用可学习嵌入的好处是它能在训练中自己找到一个合适的”中性”表示。

第二,丢弃概率的选择。丢弃比例太小,无条件模型训练样本不足,pt(xt∣∅)p_t(x_t\mid\varnothing) 的估计偏差大;丢弃比例太大,条件模型的有效训练样本变少,条件能力下降。10% 左右是一个被广泛采用的折中。论文附录 A 的实验也系统比较了条件丢弃概率对效果的影响,结论是在一定范围内引导质量对该参数不敏感,但要落到具体数值仍需实验确定。

这里还有一个理论层面的细微之处:严格来说 pt(xt∣∅)p_t(x_t\mid\varnothing) 并不完全等于 pt(xt)p_t(x_t)。当丢弃概率为 pdropp_{\text{drop}} 时,空条件模型看到的样本来自”部分条件被随机遮挡后的混合分布”。当 pdropp_{\text{drop}} 较小时,这个分布近似于所有条件被边缘化后的边缘分布 pt(xt)p_t(x_t),因此可以把它当成无条件模型使用。这是 CFG 在工程上成立的前提,也是在丢弃比例需要权衡的原因。

3.5 一张图看引导强度对分布的影响

CFG 论文用三高斯混合的二维例子说明引导在密度层面做了什么。每个高斯分量代表一个类别条件下的数据,最左是未被引导的边缘密度,向右引导强度逐渐增大,条件分量被”锐化”成更窄更尖的峰,同时峰值位置向外移动。

CFG 论文 Figure 1:在三高斯混合上,引导强度从左到右递增时条件密度的锐化与峰位外移

这张图来自 Classifier-Free Diffusion Guidance 论文 Figure 1。图中共四幅子图:最左为引导强度为零时的分布,其余三幅的引导强度依次增大。可以读到三个现象:

  • 条件分量变窄:引导把”是否像这个类别”的判断放大,采样集中到了分量中心附近,方差显著下降,这正是”多样性降低”在密度上的形态;
  • 分量被拉开:各分量之间的间隙变大,跨类别的混合样本几乎消失,这就是”条件更听话”的密度形态;
  • 峰值可能偏移到数据支撑之外:最右侧子图的峰已经偏向高斯原始位置的右侧,这个偏移就是过饱和的来源——采样点跑到了训练分布覆盖较弱的区域。

后两节会从这张图延伸出两个工程问题:引导强度的最优值如何随噪声水平变化(第 5 节),以及怎样为负向提示词构造引导项(第 4 节)。

3.6 第一次实验证据:同一个种子下的两路对比

CFG 论文附录 A 用同一随机种子分别做”非引导条件采样”与”CFG 条件采样”,在 ImageNet 128×128 上给出了成对的样本。以论文报告的其中一组为例:非引导条件采样在 128×128 上 FID 为 7.27、IS 为 82.45;对应位置的 CFG 样本(w=1.0w=1.0,即 s=2s=2)FID 为 7.86、IS 为 297.98。

IS(Inception Score)衡量”类别判别性”与”样本多样性”,引导把 IS 抬高了约 3.6 倍;FID(Fréchet Inception Distance)衡量与真实分布的统计距离,引导后略微变差。这组数字精确地刻画了引导的本质取向:它并没有让样本”更像真实数据”,而是让样本”更强烈地表现条件”。用户要的和统计指标最优的,并非同一件事——这正是引导作为”可调分布”而非”更好的模型”的定位。

CFG 论文 Figure 1:64×64 ImageNet 上 malamute(阿拉斯加雪橇犬)类别的样本,自上而下为引导强度逐级增大的三组

上图是同一论文的 Figure 1,类别为 malamute(阿拉斯加雪橇犬),64×64 ImageNet 模型。图中自上而下三组样本分别对应逐级增大的引导强度;论文说明该图从左到右展示引导量依次增大的样本,非引导样本位于最左。观察这三组样本可以读出引导的可感知效果:引导弱时,犬只的毛色与姿态更随机,有些样本更像哈士奇或萨摩耶;引导增强后,雪橇犬特有的体型与毛色变得更稳定,但同时背景变得更单调、色彩更饱和。这就是”分布被锐化”在图像上的直观对应。

四、负向提示词:CFG 的第三个分支

4.1 现象

WebUI 与各类云服务里,负向提示词(negative prompt)是一个非常普及的输入框。用户在正向框里写”油画风格、猫”,在负向框里写”模糊、水印、多余的手指”,得到的图通常确实少了模糊与水印。这个功能在几乎所有 Stable Diffusion 前端里都存在,但它背后的数学是什么,配置 cfg_scale 与”无条件分支”的关系在哪里,很少被系统解释。

先澄清一个常见误解:负向提示词不是在采样时”检测并擦掉”某些内容,也不是在 VAE 解码后做后处理。它直接进入引导公式,改变的是每一步采样的方向。

4.2 从”空条件”到”某个具体条件”的推广

3.2 节的 CFG 公式里,无条件分支输入的是空符号 ∅\varnothing。如果把这个空符号替换成另一个条件 cnegc_{\text{neg}},并且保持同样的减法结构,会得到:

ϵ~θ(xt,t,cpos∣cneg)=ϵθ(xt,t,cneg)+s(ϵθ(xt,t,cpos)−ϵθ(xt,t,cneg))\tilde\epsilon_\theta(x_t,t,c_{\text{pos}}\mid c_{\text{neg}})=\epsilon_\theta(x_t,t,c_{\text{neg}})+s\left(\epsilon_\theta(x_t,t,c_{\text{pos}})-\epsilon_\theta(x_t,t,c_{\text{neg}})\right)

在分数层面,这个式子对应:

∇~log⁡pt=∇log⁡pt(xt∣cneg)+s(∇log⁡pt(xt∣cpos)−∇log⁡pt(xt∣cneg))\tilde\nabla\log p_t=\nabla\log p_t(x_t\mid c_{\text{neg}})+s\left(\nabla\log p_t(x_t\mid c_{\text{pos}})-\nabla\log p_t(x_t\mid c_{\text{neg}})\right)

换成后验分数的写法:

∇~log⁡pt=∇log⁡pt(xt)+s ∇log⁡pt(cpos∣xt)−(s−1) ∇log⁡pt(cneg∣xt)\tilde\nabla\log p_t=\nabla\log p_t(x_t)+s\,\nabla\log p_t(c_{\text{pos}}\mid x_t)-(s-1)\,\nabla\log p_t(c_{\text{neg}}\mid x_t)

最后这个展开是关键,逐项读:

  • ∇log⁡pt(xt)\nabla\log p_t(x_t) 是无条件分数,权重为 1,保证样本仍是”像数据”的;
  • +s ∇log⁡pt(cpos∣xt)+s\,\nabla\log p_t(c_{\text{pos}}\mid x_t) 是正向条件方向,被放大 ss 倍;
  • −(s−1) ∇log⁡pt(cneg∣xt)-(s-1)\,\nabla\log p_t(c_{\text{neg}}\mid x_t) 是负向条件方向,被减去 (s−1)(s-1) 倍。

也就是说,负向提示词的效应不是简单的”负权重乘积”:正向项放大 ss 倍、负向项减去 s−1s-1 倍,两者不对称。差值里多出的那一份”负向方向”来自”无条件项被替换掉了”——原本的无条件参考点从”中性”移动到了”负向条件”。这个 s−1s-1 的系数解释了若干实践现象:在 ss 较小时(例如 3 到 5),负向提示词的影响相对温和;ss 越大,负向提示词的影响越强;如果误把负向提示词塞进正向框、前面加个”不要”之类的词,效果完全不同,因为那只是改变了 cposc_{\text{pos}},并没有产生减法结构。

4.3 为什么需要两次前向而不是三次

一个自然的疑问是:既然有正向和负向两个条件,是不是要跑三次前向(正向、负向、无条件)?答案是不需要。上文最后的展开里,无条件项系数为 1、正向项系数为 ss、负向项系数为 −(s−1)-(s-1),三项都作用在同一组分数上。但回到"A+s(B−A)A+s(B-A)"那种两分支形式,它只用到 ϵ(cpos)\epsilon(c_{\text{pos}}) 与 ϵ(cneg)\epsilon(c_{\text{neg}}) 两次前向:

ϵ~=ϵ(cneg)+s(ϵ(cpos)−ϵ(cneg))=(1−s) ϵ(cneg)+s ϵ(cpos)\tilde\epsilon=\epsilon(c_{\text{neg}})+s\left(\epsilon(c_{\text{pos}})-\epsilon(c_{\text{neg}})\right)=(1-s)\,\epsilon(c_{\text{neg}})+s\,\epsilon(c_{\text{pos}})

注意这个最后的展开里不需要无条件分支。负向条件 cnegc_{\text{neg}} 同时承担了”参考点”与”被推开的方向”两个角色。这就是为什么带负向提示词的实现只需两次前向,与不带负向提示词的 CFG 成本相同。

如果既想保留无条件分支、又想额外加负向提示词,就会出现三路组合,常见形式是”CFG++ 风格的复合引导”(例如某些 ComfyUI 工作流中的 PerpNeg,即 perpendicular negative prompting)。此时成本会到三次前向。实践中的常规做法是用负向条件替代空条件,而不是叠加。

4.4 实现细节:负向嵌入怎么进来

在工程实现里,正负两个条件通常被打包成同一个批次,一起送进主干网络:

# 伪代码:一次 CFG 步的输入准备
def prepare_cfg_batch(tokens_pos, tokens_neg, batch_size):
"""把正负条件沿 batch 维拼接,使一次主干前向处理两路"""
# tokens_pos / tokens_neg: [1, L] 编码后的 token id
pos = tokens_pos.expand(batch_size, -1)
neg = tokens_neg.expand(batch_size, -1)
return torch.cat([neg, pos], dim=0) # 形状 [2B, L],前 B 为负向,后 B 为正向

这样组织的好处是主干网络只被启动一次,batch 变为 2B2B。在 GPU 上,两次独立的小批次前向往往比一次双倍批次前向慢得多,因为 kernel 启动、权重读取和同步的开销无法被摊薄。所以”CFG 成本翻倍”在 FLOPs 意义上成立,在墙钟时间上往往不到两倍——这正是第 6 节要算的账。

负向提示词本身也经过与正向相同的文本编码器。很多实现的默认负向提示词是几个词(“lowres, bad anatomy, …”)而不是空字符串,这意味着文本编码器仍然要处理这些 token,只是它们的嵌入被当作”被推开的方向”。用空字符串作为负向提示词时,文本编码器输出的是空序列对应的嵌入,和训练时随机丢弃条件得到的空符号不是同一个东西(后者是可学习的嵌入)。这意味着”没有写负向提示词”与”负向提示词写成空串”在部分实现里并不等价,效果会有细微差异。读某个框架的代码时,确认它到底把什么作为无条件分支输入,是排查”同样参数效果不同”问题的常见切入点。

4.5 负向提示词的适用范围

负向提示词在以下场景最有效:

  • 抑制具体的视觉缺陷:模糊、水印、畸变的手、多余肢体。这些是训练数据里高频出现的低质量特征,“不想要它们”的梯度方向相对稳定。
  • 压制风格倾向:在写实模型上负向”cartoon, anime”,能减少模型将风格拉向插画的倾向。
  • 削弱高频重复的模式:某些模型对”网格、边框、文字”等元素有很强的先验,负向条件能部分抵消。

局限也很清楚:负向提示词无法表达”某物不存在”这种布尔语义。它做的是沿分数方向做线性推离,而不是逻辑否定。写”负向:狗”并不会保证画面里没有狗,只是降低”狗”相关特征在采样中被选择的倾向;如果正向提示词强烈要求狗,两者的梯度可能在每个时间步上拉锯,最终结果可能是狗的形状扭曲。这个现象在早期的 SD 模型上很常见,也是后来一些工作提出”空间感知负向提示”(如 Negative Prompting with Attention 类方法)的动机:在注意力层面把负向条件限制到特定区域或特定交叉注意力层,而不是让它影响全局。

五、引导为什么让画面”烧焦”

5.1 现象与三个层次的原因

引导强度开到 10 以上,画面通常出现这些特征:颜色饱和到失真、明暗对比极强、纹理呈现重复的网点、整体像被过度锐化。这不是渲染错误,而是引导机制在远离数据分布时的必然结果。原因可以拆成三个层次。

层次一:数据有界,外推无界。 图像像素(或 latent 值)落在有限的取值范围里,例如 [−1,1][-1,1] 或 [0,255][0,255]。训练分布对这个范围有严格支撑,模型在训练中从未见过”超出范围”的样本。引导的线性外推不尊重这个边界:当 ss 较大、条件分支与无条件分支的差异被放大数倍,采样估计出的 x^0\hat x_0 会系统性地越过取值边界。越界样本被后续步骤当成真实输入处理,误差不断累积,最终表现为色块化与饱和。

层次二:分数外推在离流形处失效。 分数场 ∇log⁡pt(xt)\nabla\log p_t(x_t) 的估计在数据支撑内可靠,越远离支撑越不可靠。引导让轨迹远离”条件模型的自然分布”,进入分数估计方差很大的区域。第 2.5 节提到的”分类器梯度的对抗性质”在 CFG 里以另一种形式重现:条件是文本嵌入,外推方向可能对应”文本中强烈出现、但视觉上无法稳定支撑的语义组合”。

层次三:高噪声段的差异被过度放大。 在高噪声段(tt 大、αˉt\bar\alpha_t 小),ϵθ\epsilon_\theta 的条件与无条件分支差异本身就很大(因为条件信号几乎不可分辨,二者的表示相距很远),分母 1−αˉt\sqrt{1-\bar\alpha_t} 又很大。两者叠加,使得高噪声段的引导效果比低噪声段强得多——这直接引向 5.2 节关于”引导只在中间段有效”的讨论,也解释了为什么简单地在所有时间步用同一个 ss 是不合理的。

5.2 引导区间:只在中间段引导

Kynkäänniemi 等人在 2024 年的论文 Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models 中对上述问题给出了一个极为直接的诊断。摘要原话是:引导在采样链的起点(高噪声水平)明显有害,在终点(低噪声水平)基本不必要,只在中间段有益。他们把引导限制到指定的噪声区间(guidance interval),既减少了前向次数、也提升了结果质量。在 ImageNet 512 上,这一改动把记录性的 FID 从 1.81 推进到 1.40。

为什么高噪声段有害?在高噪声段,图像内容还没成形,条件文本的作用主要是设定大尺度构图;此时条件与无条件分支的差异反映的是”文本条件的大尺度统计”,外推会把构图拉到过于夸张的方向,比如主体过大、布局失衡。为什么低噪声段不必要?在低噪声段,纹理细节已经基本确定,条件分支与无条件分支对细节的预测趋同,引导的增量很小,继续外推只会积累饱和。

这个结论对工程有两个直接含义:

第一,guidance_scale 不应该被当成一个全局常量。既然引导只在中间段有益,一个随噪声水平变化的引导强度表才更接近最优形态;论文的建议也正是把引导区间作为超参数暴露出来,而不是继续用一个标量贯穿全程。

第二,引导区间会改变实际前向次数。区间外的步只需要一次条件前向,区间内需要两次。如果区间占全部步数的一半,实际前向次数就不是 2N2N,而是约 1.5N1.5N。这会使”用步数乘以 2 估算延迟”的做法系统性偏大,第 6 节会给出更准确的记账方式。

下图是 SDXL 上”全程引导”与”仅在中间区间引导”在同一提示词、同一高权重下的并排对比,直观展示了区间限制为什么能让高权重变得可用。

引导区间论文 Figure 6:SDXL 上同一提示词的三幅对照,依次为低权重全程 CFG、高权重全程 CFG、高权重仅区间引导

上图取自 Applying Guidance in a Limited Interval 正文的 Figure 6,三幅子图从左到右依次为:低权重(w=2w=2)的全程 CFG、高权重(w=16w=16)的全程 CFG、以及高权重(w=16w=16)但只在中间区间(σ∈(0.28,5.42]\sigma\in(0.28,5.42])引导。论文对该图的描述是:低权重给出多样但模糊、缺细节的图像;提高权重会增加锐度,但同时降低多样性并让颜色过饱和;第三条(论文方法)在保留锐利观感的同时削减了这些副作用。读这三幅并排图时,第一幅与第二幅之间的差异说明了”引导能买到什么、又付出什么”,而第二幅与第三幅之间的差异说明了”区间限制买到了同样的锐度、却没有支付过饱和的代价”。对这三幅子图做平均饱和度统计(同一提示词、同一模型)可以看到:高权重全程 CFG 的平均饱和度是低权重时的两倍以上,而区间引导在相同高权重下回落到明显更低的水平——这正是”少了过饱和、保留锐度”的可量化侧面。这说明区间限制不是”少引导”,而是”把引导只放在它真正起作用的那一段”,从而让高权重可以安全使用。

5.3 动态阈值:把 x^0\hat x_0 拉回合法范围

解决越界问题最朴素、也最早被采用的方法来自 Imagen:动态阈值(dynamic thresholding)。Imagen 由 Google 在 2022 年提出,论文是 Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding。它的出发点是:强 CFG 下 x^0\hat x_0 的估计会饱和,而像素值必须在合法范围内。

做法分两步。第一步,找到当前 x^0\hat x_0 中幅值最大的像素值:

σ=max⁡(abs⁡(x^0))\sigma=\operatorname{max}\left(\operatorname{abs}(\hat x_0)\right)

x^0\hat x_0 是网络当前步对干净样本的估计,max⁡(⋅)\operatorname{max}(\cdot) 取全体空间位置上的最大绝对值,σ\sigma 因此是”最偏离中性值”的那个像素有多偏。

第二步,如果 σ\sigma 超过阈值 ρ\rho,就把整张图按比例缩放到让最大值为 ρ\rho:

x^0←clip⁡(x^0⋅ρmax⁡(ρ,σ), −1, 1)\hat x_0\leftarrow \operatorname{clip}\left(\hat x_0\cdot\frac{\rho}{\operatorname{max}(\rho,\sigma)},\,-1,\,1\right)

ρ\rho 是阈值,论文中使用的是按分位数确定的动态阈值(对每个样本取当前像素分布的高分位数值),而不是固定常数。clip⁡(⋅,−1,1)\operatorname{clip}(\cdot,-1,1) 把结果限制到合法区间。

为什么这样做有效,值得多想一步。强引导下越界的不是少数像素,而是整个图的动态范围被撑大。按最大值缩放相当于以最大幅值像素为基准,压缩整张图的对比度,再截断到边界。这会把”烧焦”的区域压回来,代价是对比度下降、细节变平。因此阈值越大,保留的对比度越多,但饱和风险越高;阈值越小越安全,越容易得到灰蒙蒙的结果。实践中 ρ\rho 常与引导强度联动:ss 越大,ρ\rho 应当越低。

一个操作细节是:动态阈值作用在 x^0\hat x_0 上,而不是作用在噪声预测上。这意味着它要求采样器能在每一步给出 x0x_0 的估计——对所有以 x^0\hat x_0 为内部参数的采样器都成立,但对纯噪声参数化的实现需要多做一次换算。这也解释了为什么有的框架里”开启动态阈值”与”选择某个采样器”是绑定的。

需要强调的是,阈值与引导是”组合使用”而非二选一:引导负责把分布推向条件,阈值负责把分布拉回可显示区域。两者缺一不可——只做引导会烧焦,只做阈值不会提升条件一致性。

5.4 CFG rescale:一种按统计量修正的替代方案

动态阈值需要 x0x_0 参数化,对噪声预测参数化的模型不直接适用。另一条路线是检查预测的统计偏差并做缩放修正。这套方法常见于 ComfyUI 等实现中的 cfg_rescale,其做法是:用无条件分支的预测去”校准”引导后的预测。

具体来说,如果引导把结果的动态范围系统性夸大,那么可以把引导后预测的标准差与无条件预测的标准差比较,并按比例回缩:

ϵ~←ϵ~⋅std⁡(ϵθ(xt,t,∅))std⁡(ϵ~)\tilde\epsilon\leftarrow\tilde\epsilon\cdot\frac{\operatorname{std}(\epsilon_\theta(x_t,t,\varnothing))}{\operatorname{std}(\tilde\epsilon)}

std⁡\operatorname{std} 是像素维度上的标准差。当引导后的预测标准差显著大于无条件预测时(这正是”对比度被撑大”),这个比值小于 1,于是把预测往回收;当两者接近时,比值接近 1,修饰很小。

这个办法的优点是零额外前向、不要求 x0x_0 参数化、只用到已有两路输出。缺点是它只是全局的统计修正,无法修正”局部区域越界”问题,引导极强时依然可能失败。它适合作为引导强度的”软上限”,降低”某个 ss 恰好越过了崩坏阈值”的敏感性,而不适合用来把 ss 从 15 救回到 7 的效果。

5.5 在 x0x_0 参数化里做引导

第三条路线是改变参数化本身。若网络输出 x^0\hat x_0,引导外推后的 x~0\tilde x_0 天然有界,可以直接截断;若网络输出噪声,则需要先换算。这就是第 3.3 节提到的”在合适参数化里外推”。

这条路线在采样器层面有更强的形式。DPM-Solver++ 论文(Lu 等人,2023 年,arXiv 2211.01095)专门讨论了强引导下高阶 ODE 求解器的不稳定性,其中一个关键结论就是:用 x0x_0 参数化的解法在有界约束下比噪声参数化更稳定。原因在于噪声参数化下的大引导值会放大网络输出及其导数,而高阶方法的收敛半径随导数增长而缩小;x0x_0 参数化解本身有界,再配合阈值钳制,误差不会指数放大。本站 采样器完全拆解 一文对这一点给出了更完整的推导,这里只需要记住结论:引导与采样器的参数化不是可以随意组合的,强引导场景下应优先选择 x0x_0 参数化的求解器。

5.6 阈值、重缩放与区间的组合

三条修正手段并不互斥,实际部署中最常见的组合是:

  1. 先设引导区间,减少”有害区间”中的引导——这是收益最大的一步,且不改变实现复杂度;
  2. 再选参数化,若采样器是 x0x_0 参数化,直接在 x~0\tilde x_0 上做阈值;若是噪声参数化,考虑加 CFG rescale 作为软保护;
  3. 最后调引导强度,在区间与阈值同时生效的前提下,ss 可以取比传统设置更高的值而不崩坏,这也是”同样参数在不同实现里效果不同”的另一来源——不同框架默认是否开启阈值与重缩放,直接改变了 ss 的有效范围。

六、把第二次前向省掉:引导蒸馏与推理侧工程

6.1 成本结构:为什么引导是推理账上的大头

回到推理成本的基本式子。一步去噪需要的不是 NN 次前向,而是 N⋅Ncfg(step)N\cdot N_{\text{cfg}}(\text{step}) 次,其中 NcfgN_{\text{cfg}} 在该步需要引导时为 2、不需要时为 1。于是总前向次数为:

Nfwd=∑i=1NNcfg(ti)N_{\text{fwd}}=\sum_{i=1}^{N}N_{\text{cfg}}(t_i)

NN 是采样步数,tit_i 是第 ii 步对应的噪声水平,Ncfg(ti)N_{\text{cfg}}(t_i) 由是否开启引导、是否处于引导区间决定。若全程引导,Nfwd=2NN_{\text{fwd}}=2N;若只在中间区间引导且区间覆盖一半的步,Nfwd≈1.5NN_{\text{fwd}}\approx1.5N;若配合引导蒸馏彻底关闭引导,Nfwd=NN_{\text{fwd}}=N。

这解释了为什么引导是推理优化里最值得处理的问题之一:它不像采样步数那样只能通过”更少步数、更好采样器”来降,而可以通过”训练期把引导吸收进权重”或”推理期精简引导步”来直接消除一倍的前向开销。本站 扩散模型推理加速工程 一文曾把一次文生图请求的延迟拆成”文本编码 + 采样循环 + VAE 解码”三段,并指出采样循环占大头;本节要把其中”CFG 让批次翻倍”这一项单独展开。

6.2 引导蒸馏:把两路合成一路

引导蒸馏(guidance distillation)的核心是把”引导后的组合输出”当成蒸馏目标,让一个单模型学会直接给出引导后的结果。这项工作由 Meng 等人于 2022 年在论文 On Distillation of Guided Diffusion Models 中提出,作者包括 Rombach、Kingma 等人。

论文摘要把动机讲得很直接:CFG 模型在高分辨率图像生成中效果很好,被 DALLE-2、Stable Diffusion、Imagen 等大规模框架广泛使用;但它的缺点是推理时必须评估两个模型(条件模型与无条件模型),而且一评估就是几十到上百次。论文提出的方案分两步:

第一步,学习一个单一模型,去匹配”条件与无条件模型组合后的输出”。也就是把 ss 引导后的组合结果作为教师信号,训练一个只需条件输入的学生模型,让它每步直接输出教师两步组合得出的结果。

第二步,在这个已合成的模型上继续做渐进式蒸馏,把它压到更少的采样步数上。摘要报告:对像素空间的扩散模型,这一路线可以在仅 4 个采样步时生成与原模型视觉上接近的图像。

为什么第二步必须放在第一步之后?因为 CFG 模型本身需要很多步,若直接对”两路组合的 50 步轨迹”做步数蒸馏,学生的目标函数会包含”每步都要对齐教师两路组合”的复杂结构,训练不稳定。先消掉两路,得到一个单路教师的步数轨迹,再压缩步数,每一步的实验难度是可分离的。这类”先改分布结构、再减步数”的顺序,在少步蒸馏的实践中是一个反复出现的模式。

一个常被误解的细节是:引导蒸馏是否让”引导强度”这个旋钮失效?论文的答案是否定的。论文的 Figure 2 展示了 ImageNet 64×64 上不同引导权重下的 FID/IS 曲线,并明确说明:蒸馏后的单一模型仍能通过改变 ww 来捕捉”多样性—质量”的权衡。也就是说,蒸馏消除的是”两路前向”,不是”引导能力”;学生模型在训练中见到的引导权重范围,决定了它可调的范围。

引导蒸馏论文 Figure 2:ImageNet 64×64 上蒸馏模型与 DDPM/DDIM 基线在不同采样步数下的 FID 与 IS 曲线

上图取自 On Distillation of Guided Diffusion Models 的 Figure 2。横轴为采样步数,纵轴分别是 FID(越低越好)与 IS(越高越好),几条曲线分别对应蒸馏模型与 DDPM、DDIM 基线。论文的描述是:蒸馏模型显著优于 DDPM 与 DDIM 基线,并且在 8 到 16 步时就能追平教师的性能;同时,通过改变 ww,单一蒸馏模型可以覆盖”多样性—质量”的权衡。这张图把两件事同时说清了:第一,蒸馏的价值不只是”少一步前向”,而是把到达教师质量所需的步数从几十步压到个位数;第二,曲线的多臂说明同一个模型在不同 ww 下得到的是不同权衡点,而不是某一个被固定的输出。

引导蒸馏的收益是可量化的:前向次数可以从”步数 × 2”降到”步数 × 1”。但它要付的代价也很明确:

  • 蒸馏需要训练,并非免训练优化,且需要教师模型的在线推理来生成目标;
  • 可调范围受限于训练时覆盖的 ww 区间。超出训练时见过的引导权重,学生模型的权衡曲线就不再可靠;工程上通常把蒸馏模型的推荐 ww 区间写进模型卡或配置,而不是让用户任意输入;
  • 蒸馏后仍需要文本条件编码,省掉的只是主干的双路计算,文本编码器与 VAE 解码不在蒸馏范围内。

6.3 引导区间:免训练地砍掉部分前向

引导区间是另一条完全免训练的路线。它的收益可以直接从 6.1 节式子里读出来:区间外的步只需一次前向。若区间覆盖一半步数,前向次数从 2N2N 降到约 1.5N1.5N,对应约 25% 的计算节省;若区间更窄,节省更多。代价是区间外的步没有引导,条件一致性需要由区间内的引导和模型的原始条件能力承担。论文在 SDXL 等大规模设置上验证了区间限制的泛化性,并建议把引导区间作为一个可配置超参数暴露给所有使用引导的扩散模型。

6.4 双分支批处理:翻倍 FLOPs,不到翻倍墙钟

在还未蒸馏、仍然要跑两路的情况下,最基本的工程问题是如何安排两路。两条常见路线:

路线一:批内拼接。 把负向(或无条件)分支与正向分支沿 batch 维拼接,一次 kernel 调用处理 [2B,L][2B,L] 的输入,如第 4.4 节的伪代码所示。优点是一次启动、权重只读一次,吞吐较高;缺点是两路共享同一个批调度,显存峰值是单路的两倍。

路线二:分支并行。 把两个分支放到不同的 GPU(或同一 GPU 的两个流)上并行执行,结束前做一次同步合成。这条路线的优势在两路计算相互独立时最明显,但它要求每一去噪步的两路结果都必须汇合后再进入下一步的采样(因为下一步的输入依赖组合结果),所以每个积分步之间是一道 barrier。引导区间恰恰改变了这个结构:区间外的步根本不需要两路并行,因此分支并行只在区间内有效,区间外的调度可以退化成单路。这也解释了为什么一些分布式扩散推理的实现会把引导区间与并行调度一起设计,而不单独调整其中一项。

一个常被忽略的细节:CFG 两路的输出在组合时要按 A+s(B−A)A+s(B-A) 计算,这个组合是一个逐元素的简单运算,代价很低,但它是每步都必须做的点对点通信(在两路分布式部署时尤其明显)。工程上常把它和上一步的采样更新融合到一个 kernel 里,节省一次往返显存的时间。

6.5 训练期把引导写进权重:为什么有些模型不给这个参数

第 6.2 节的引导蒸馏是”事后合成”。另一类做法是在训练阶段就考虑引导:蒸馏、rectified flow 的引导相关工作,以及近年的若干大规模文生图模型,都在训练中把”期望的引导行为”直接融入模型,使推理时不再需要两路。这类模型的典型表现是不再暴露 guidance_scale,或者只暴露一个语义化的”引导强度”而由内部重新解释(例如用时间步相关的引导嵌入而不是外部乘数)。

这种设计变化的根源就是第 5 节的结论:全程恒定引导本身不是最优形态,而训练期的信息量远大于推理期的外推。把”引导应该怎么作用”作为架构的一部分来学,比在推理时用一个标量手工调整更接近理想形态。对推理系统的直接影响是成本结构变了:一次请求的前向次数回到”步数 × 1”,延迟预算不需要预留引导的倍增项,调度器也不必处理两路分支的同步。

6.6 离散扩散语言模型的引导

掩码扩散语言模型(Masked Diffusion Language Model)同样可以套用 CFG。条件是提示词或者任务指令,无条件分支是空提示符。不同的是,语言模型的输出是词表上的 logits,而不是连续向量。引导在这里仍然在 logits 空间做线性组合:

ℓ=ℓ(xt,t,∅)+s(ℓ(xt,t,c)−ℓ(xt,t,∅))\ell=\ell(x_t,t,\varnothing)+s\left(\ell(x_t,t,c)-\ell(x_t,t,\varnothing)\right)

ℓ\ell 是在每个被掩码位置上的词表 logits,ss 是引导强度,cc 是条件。它之后照常进入 softmax 采样。这个操作与图像侧完全同构,代价也相同:dLLM 每步需要两次前向,而 dLLM 本来就有”块内多轮去噪”的结构,引导会让每轮的开销翻倍。本站对 dLLM 推理系统的拆解中,dLLM 推理系统 已经讨论了块内轮数与调度,引导是其中没有被单独展开的一项成本。

有意思的是,已经有工作开始质疑”dLLM 是不是真的需要 CFG”。例如 2026 年出现的一篇讨论掩码扩散语言模型中引导何时变得不必要的工作(Commitment Before Realization),以及低维理论分析引导作用的论文(Improving Classifier-Free Guidance in Masked Diffusion)。这些工作说明:在离散扩散上,引导的必要性与图像扩散并不完全一致,掩码结构本身已经提供了很强的条件约束。它们的具体结论这里不展开,但给出的提示是有用的——从一个模态上得到的直觉,不能不加验证地套到另一个模态。

七、引导的账本:怎么算一次请求跑了几次前向

7.1 一个精确的记账函数

综合前面的机制,一次请求的真实前向次数取决于四个变量:总步数 NN、是否开启引导、引导区间 [tlo,thi][t_{\text{lo}},t_{\text{hi}}]、以及是否使用引导蒸馏后的单路模型。可以直接写一个账面函数:

def count_forward_passes(
timesteps, # 长度为 N 的噪声水平序列(按采样顺序)
cfg_enabled: bool,
interval=None, # (lo, hi),None 表示全程
guided_model=False, # 是否已蒸馏为单路模型
):
"""返回一次请求实际执行的主干前向次数"""
if guided_model:
return len(timesteps) # 蒸馏后每步一次前向
if not cfg_enabled:
return len(timesteps) # 关闭引导,每步一次
if interval is None:
return 2 * len(timesteps) # 全程两路
lo, hi = interval
n = 0
for t in timesteps:
n += 2 if lo <= t <= hi else 1 # 区间内两路,区间外单路
return n

这个函数刻意写成”遍历时间步”而不是”乘一个系数”,因为几种常见误差都来自用系数近似:

  • 区间边界的步数计算:区间边界是否包含、步长是否均匀,都会改变区间内步数;
  • 最后一步的特殊处理:有的采样器在最后一步直接输出 x0x_0,不需要走完整反向步骤,步数会比名义值少一;
  • 跳过引导的启发式:部分实现在 tt 很低的最后几步直接用条件预测而不组合,属于”隐式区间”;
  • 分类器引导的额外反传:若系统仍在使用分类器引导,还要加上分类器的前向与反传,账面里没有这一项。

7.2 一个数字对比

设一个 30 步的 SDXL 请求、引导区间取中间约一半的步:

配置实际主干前向次数相对全程 CFG
全程 CFG60100%
中间区间 CFG(约 15 步在区间内)约 4575%
引导蒸馏后的单路模型3050%
关闭引导3050%(但条件一致性下降)

这张表里的第三行和第四行前向次数相同,但含义不同:蒸馏模型保留了引导的效果,关闭引导则牺牲了效果。引导蒸馏的价值就在于此——它把”效果”和”成本”这两个通常要权衡的量,用训练期的一次性投入买断了。

7.3 调度层的连锁效应

账面在调度层还有几个连锁效应,是实际系统里最容易出问题的地方:

第一,双倍批次的显存与并发。CFG 开启时,同一步需要处理 2B2B 的输入,显存占用翻倍。调度器若按”单路显存”估算并发数,会直接 OOM。正确做法是按 2B2B 估算,或者利用引导区间让区间外的步用单路显存。

第二,区间内的 batch 对齐。区间内与区间外的批大小不同,若调度器按固定 batch 组装请求,必然出现区间切换时的气泡。有些实现把请求拆成”区间外段”与”区间内段”分别调度,但两段共享同一个采样状态,拆开就要在状态上做交接,复杂度不低。

第三,与投机解码、块并行等技术的组合。这些技术改变的是”步”的粒度,而引导是在”步内”增加一倍前向。两者的成本叠加方式不同:引导的倍增作用在每个调度单元上,而步数减少的是单元总数。优化顺序上,先把”引导的倍增”降下来(蒸馏或区间),再做步数级的优化,往往能得到更可预测的整体收益。

7.4 一个容易被忽略的通信项

在多卡部署下,CFG 的两路若是分布在不同的设备上,组合运算 A+s(B−A)A+s(B-A) 需要一次全规约或点对点交换。这个通信量与每步的 latent 大小同阶,在 1024×1024、latent 分辨率 128×128×4 的规模下大约是几 MB 量级。相对主干计算它很小,但它出现在每一步,且与”下一步的采样更新”有依赖。一些推理框架的做法是把两路的输出留在同一设备上组合,避免每步的跨设备往返;若必须分散,则把组合与采样更新融合成一个通信原语,减少一次同步。

小结

这一篇把引导从概率机制讲到推理系统,核心结论可以压成十条:

  • 条件采样”不够听话”是分布形状问题:p(x∣c)p(x\mid c) 是一个覆盖范围很广、熵很高的分布,标注噪声进一步削弱了条件信号,直接从它采样得到的是”大致符合”的样本,而不是”强烈符合”的样本。
  • 贝叶斯恒等式给出锐化方向:条件分数 = 无条件分数 + 后验分数;引导就是把后验分数乘以 s>1s>1,在分布层面对应”把条件后验取幂”。
  • 分类器引导(Dhariwal & Nichol,2021)训练一个在加噪样本上工作的分类器,把它的梯度加到反向均值上;它在”多样性 vs 保真度”上做权衡,代价是多一个模型、多一次前向与反传,且分类器梯度在离流形处可能不可靠。
  • CFG(Ho & Salimans,2022)用”条件模型减无条件模型”替代分类器;训练时以固定概率丢弃条件,使同一网络兼具两路功能。ϵ∅+s(ϵc−ϵ∅)\epsilon_\varnothing+s(\epsilon_c-\epsilon_\varnothing) 与原论文的 (1+w)ϵc−wϵ∅(1+w)\epsilon_c-w\epsilon_\varnothing 只差记号,s=1+ws=1+w。
  • 负向提示词就是把空条件换成具体条件:ϵ(cneg)+s(ϵ(cpos)−ϵ(cneg))\epsilon(c_{\text{neg}})+s(\epsilon(c_{\text{pos}})-\epsilon(c_{\text{neg}})),展开后正向项放大 ss 倍、负向项减去 s−1s-1 倍,两者不对称;它只需两次前向,不需要第三个无条件分支。
  • 引导让画面烧焦有三层原因:数据有界而外推无界、分数在离流形处失效、高噪声段的条件差异被过度放大。
  • 三条修正手段:动态阈值(Imagen)把 x^0\hat x_0 按最大值缩回合法区间;CFG rescale 用无条件分支的标准差做全局回缩;在 x0x_0 参数化里外推并配合截断,对强引导下的高阶求解器尤其重要。
  • 引导区间(2024)把引导限制在中间噪声段:高噪声段有害、低噪声段不必要,ImageNet-512 上的记录 FID 从 1.81 降到 1.40,且免训练地减少前向次数。
  • 引导蒸馏(Meng 等人,2022)把两路组合的输出蒸馏进单模型,再压缩步数,可在 4 步内生成与原模型接近的图像;代价是训练投入与可调范围的收窄(同一个学生模型仍能通过 ww 在多样性—质量间取舍)。
  • 推理账本:前向次数等于各步引导开关之和,而不是”步数乘 2”;引导区间约省 25%,蒸馏约省 50%;调度层要按双倍批次估算显存,并注意区间切换时的批对齐与两路组合的通信。

引导是扩散模型里”数学机制”与”系统工程”距离最近的一个技术点:一个标量参数的背后,是贝叶斯后验的幂次、一个被丢弃条件的训练决策,以及一整套围绕”第二次前向”展开的工程取舍。系列前面讲到的 采样器完全拆解 与 少步蒸馏 分别对应引导在”参数化稳定性”与”训练期吸收”两端的延伸,可以作为下一步的阅读方向。

参考资料

  1. Diffusion Models Beat GANs on Image Synthesis (ADM)
  2. Classifier-Free Diffusion Guidance (CFG)
  3. Denoising Diffusion Probabilistic Models (DDPM)
  4. Improved Denoising Diffusion Probabilistic Models
  5. Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (Imagen)
  6. On Distillation of Guided Diffusion Models
  7. Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models
  8. DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models
  9. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps
  10. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (SD3)
  11. Large Language Diffusion Models (LLaDA)
  12. Improving Classifier-Free Guidance in Masked Diffusion: Low-Dim Theoretical Insights with High-Dim Impact
  13. Commitment Before Realization: When Classifier-Free Guidance Becomes Unnecessary in Masked Diffusion Language Models

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

扩散模型从零讲起(十三):引导完全拆解——CFG、负向提示词与引导蒸馏
https://pinghaoyang.com.cn/articles/insights/posts/diffusion-guidance-cfg-part-13/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录