扩散模型从零讲起(十二):连续时间 SDE 视角——分数、Fokker–Planck 与反向过程

10583 字
53 分钟
扩散模型从零讲起(十二):连续时间 SDE 视角——分数、Fokker–Planck 与反向过程

写在前面:这一篇补的是哪块地基

这个系列已经走到了第十二篇。先把前面讲过的主线压缩成几句话:

  • 第一篇从 DDPM 的前向加噪链与反向去噪链讲起,推导了闭式后验与 ELBO,解释了为什么”预测噪声”是合理的训练目标;随后用 score matching 把去噪与分数场联系起来,用 DDIM 把随机采样改成确定性轨迹,用 Flow Matching 把轨迹设计成更直的路径,最后落到 DiT 的 adaLN-Zero。
  • 第二篇把状态空间从连续向量换成 token 序列,用连续时间马尔可夫链(CTMC)的框架讲掩码扩散,包括转移矩阵、ELBO、后验与块并行解码。
  • 第三篇讨论 dLLM 的推理系统,第四篇讲潜空间扩散与 MMDiT,第五篇讲视频扩散,第六篇拆解采样器,第七篇讲少步蒸馏,第八篇讲推理加速工程,第九篇讲 U-Net 到 DiT 的架构演进,第十篇讲音频扩散,第十一篇讲三维生成。

这条主线里有一个被反复引用、却始终没有从头推导的对象:连续时间 SDE。第一篇在讲分数时提到”概率流 ODE”,第六篇在推导 DDIM 与 DPM-Solver 之前直接给出了前向 SDE、反向 SDE 与概率流 ODE 的三条公式,然后就把注意力转向积分器。公式是对的,但它们从哪来、为什么成立、每一项对应什么物理量,一直没有交代。

这一篇就把这块地基补上。具体要回答五个问题:

  1. DDPM 的 1000 步离散加噪,取极限之后会变成什么方程?
  2. 为什么扩散模型有三条不同的 SDE 家族(VE、VP、sub-VP),它们各自适合什么场景?
  3. 前向加噪时,边缘分布 pt(x)p_t(\mathbf{x}) 随时间是按照什么方程演化的?
  4. 反向采样所用的那条 SDE,为什么恰好需要分数场,又为什么能够成立?
  5. 连续时间视角如何解释真实推理系统里的 scheduler 名字、NFE 预算与随机/确定性采样的取舍?

一句话概括本篇的核心:扩散模型不是”一千步加噪”,而是一条从数据分布流向噪声分布的连续概率流;DDPM 只是这条流的一个离散采样点。理解了这个连续对象,离散算法里的很多”技巧”就变成了同一个方程的不同的离散化选择。

第一层:从 1000 步离散链到连续时间 SDE

DDPM 前向链的写法

第一篇已经给出 DDPM 的前向过程:

q(xt∣xt−1)=N(xt; 1−βt xt−1, βtI)q(\mathbf{x}_t\mid \mathbf{x}_{t-1})=\mathcal{N}\left(\mathbf{x}_t;\ \sqrt{1-\beta_t}\,\mathbf{x}_{t-1},\ \beta_t\mathbf{I}\right)

其中 βt\beta_t 是一个预先设定的方差日程,通常从 10−410^{-4} 线性或余弦地增长到 0.020.02。把它写成采样形式就是

xt=1−βt xt−1+βt ϵt,ϵt∼N(0,I)\mathbf{x}_t=\sqrt{1-\beta_t}\,\mathbf{x}_{t-1}+\sqrt{\beta_t}\,\boldsymbol{\epsilon}_t, \qquad \boldsymbol{\epsilon}_t\sim\mathcal{N}(0,\mathbf{I})

这个式子里有两个系数:1−βt\sqrt{1-\beta_t} 是”保留多少旧信号”,βt\sqrt{\beta_t} 是”注入多少新噪声”。注意它们满足

(1−βt)2+(βt)2=1\left(\sqrt{1-\beta_t}\right)^2+\left(\sqrt{\beta_t}\right)^2=1

也就是每一步都保持总方差不变:如果 xt−1\mathbf{x}_{t-1} 的各分量方差为 1,那么 xt\mathbf{x}_t 的方差仍然是 1。这正是 “variance preserving”(VP)这个名字的来源。

把步长写成 Δt\Delta t

DDPM 的时间轴是整数 t=0,1,…,Tt=0,1,\dots,T。为了取极限,把总时长归一化成 [0,1][0,1],令每一步的长度为 Δt=1/T\Delta t=1/T,并把第 tt 步对应到连续时间 τ=tΔt\tau=t\Delta t。日程 βt\beta_t 也随之变成连续函数 β(τ)\beta(\tau)。

在 Δt\Delta t 很小的时候,β(τ)\beta(\tau) 也很小(典型值在 10−410^{-4} 量级),于是可以展开

1−β(τ)≈1−12β(τ)\sqrt{1-\beta(\tau)}\approx 1-\frac{1}{2}\beta(\tau)

把离散递推改写为

xτ+Δt−xτ=−12β(τ) xτ Δt+β(τ)Δt⋅ϵΔt\mathbf{x}_{\tau+\Delta t}-\mathbf{x}_\tau = -\frac{1}{2}\beta(\tau)\,\mathbf{x}_\tau\,\Delta t + \sqrt{\beta(\tau)\Delta t}\cdot\frac{\boldsymbol{\epsilon}}{\sqrt{\Delta t}}

这里刻意把噪声项拆成 βΔt\sqrt{\beta\Delta t} 乘一个单位高斯。为什么要这么拆?因为 ϵ/Δt\boldsymbol{\epsilon}/\sqrt{\Delta t} 的量级是 1/Δt1/\sqrt{\Delta t},它乘以 Δt\sqrt{\Delta t} 之后才得到与 Δt\Delta t 同量级的位移——这是布朗运动的典型尺度:位移正比于 时间\sqrt{\text{时间}},而不是时间。

令 Δt→0\Delta t\to 0,把 ϵ/Δt\boldsymbol{\epsilon}/\sqrt{\Delta t} 形式地写成维纳过程的增量 dwd\mathbf{w},就得到

dx=−12β(τ)x dτ+β(τ) dwd\mathbf{x}=-\frac{1}{2}\beta(\tau)\mathbf{x}\,d\tau+\sqrt{\beta(\tau)}\,d\mathbf{w}

这就是 VP-SDE。逐项读:

  • −12β(τ)x dτ-\frac{1}{2}\beta(\tau)\mathbf{x}\,d\tau 是漂移项(drift)。它把当前样本向原点收缩,作用是逐渐抹掉数据本身的幅度。系数里的 1/21/2 来自 1−β≈1−β/2\sqrt{1-\beta}\approx 1-\beta/2,不是人为凑出来的。
  • β(τ) dw\sqrt{\beta(\tau)}\,d\mathbf{w} 是扩散项(diffusion)。它持续注入新的随机扰动。系数是 β\beta 的平方根,因为方差随时间线性累积。
  • 两项合起来维持方差不变:漂移每秒削减掉的方差,恰好被扩散项补回来。后文会用一个具体的矩方程验证这一点。

一个具体的数值感受

取线性日程 β(τ)=βmin⁡+(βmax⁡−βmin⁡)τ\beta(\tau)=\beta_{\min}+(\beta_{\max}-\beta_{\min})\tau,βmin⁡=10−4\beta_{\min}=10^{-4}、βmax⁡=0.02\beta_{\max}=0.02。在 τ=0.5\tau=0.5 附近,β≈0.01\beta\approx 0.01,漂移系数约 −0.005-0.005,扩散系数约 0.10.1。也就是说,经过 dτ=0.001d\tau=0.001 的时间,信号幅度平均收缩 5×10−65\times10^{-6},噪声标准差增加 0.1×0.001≈0.00320.1\times\sqrt{0.001}\approx 0.0032。单看一步都极小,但把 1000 步累积起来,信号幅度会从 1 衰减到接近 0,噪声方差升到接近 1——这就是 DDPM 最后一步 xT\mathbf{x}_T 近似标准高斯的原因。

累积乘积为什么变成指数

DDPM 的一步到位式子里有一个累积量 αˉt=∏s=1t(1−βs)\bar\alpha_t=\prod_{s=1}^{t}(1-\beta_s),它决定了信号保留多少。取对数:

log⁡αˉt=∑s=1tlog⁡(1−βs)≈−∑s=1tβs\log\bar\alpha_t=\sum_{s=1}^{t}\log(1-\beta_s) \approx-\sum_{s=1}^{t}\beta_s

第一个等号是乘积变求和,第二个等号用了 log⁡(1−x)≈−x\log(1-x)\approx-x(xx 很小时)。在连续极限下,∑sβs\sum_s\beta_s 变成积分:

αˉ(τ)=exp⁡(−∫0τβ(u) du)\bar\alpha(\tau)=\exp\left(-\int_0^\tau\beta(u)\,du\right)

于是 xτ=αˉ(τ)x0+1−αˉ(τ)ϵ\mathbf{x}_\tau=\sqrt{\bar\alpha(\tau)}\mathbf{x}_0+\sqrt{1-\bar\alpha(\tau)}\boldsymbol{\epsilon}。这个推导顺带解释了一个常被忽略的设计约束:每一步的 βs\beta_s 必须足够小,否则 log⁡(1−βs)≈−βs\log(1-\beta_s)\approx-\beta_s 不成立,离散链和连续 SDE 就会分叉。DDPM 用 1000 步而不是 10 步,不只是为了”更精细”,更是为了让单步方差小到连续化近似成立。如果把 1000 步压到 10 步、同时保持总噪声量不变,单步 β\beta 会大到 0.1 量级,一阶展开的误差就不能忽略了。

为什么取极限有用

离散链本身是可以计算的,取极限的意义不在于”更精确地模拟 DDPM”,而在于换一套数学工具。离散马尔可夫链的分析工具是转移矩阵与 KL 展开;连续时间随机过程的工具是 SDE、Fokker–Planck 方程与分数场。后者能回答离散视角下很难回答的问题:

  • 反向过程到底长什么样?离散链里的反向转移 q(xt−1∣xt)q(\mathbf{x}_{t-1}\mid\mathbf{x}_t) 只在 βt\beta_t 很小时才近似高斯,连续极限下反向过程是一个有明确形式的 SDE。
  • 不同噪声日程之间能不能互相转换?连续时间下它们只是同一个 SDE 的不同时间重参数化(time reparameterization),换一个”噪声时钟”就行。
  • 采样必须走 1000 步吗?连续视角下,采样是解一个微分方程,步数由数值方法决定,与训练时的 TT 无关。

第一层的结论可以压缩成一句话:DDPM 的前向链是 VP-SDE 的 Euler–Maruyama 离散化,βt\beta_t 是 β(τ)\beta(\tau) 在离散网格上的取值。

第二层:三个 SDE 家族——VE、VP 与 sub-VP

连续化之后,只要漂移项与扩散项的配合方式不同,就能得到不同的”加噪流”。Score SDE 论文(Song 等人,2020 年,Score-Based Generative Modeling through Stochastic Differential Equations,ICLR 2021)把此前分散的两条连续化路线收进了同一个框架,并在此基础上提出第三种。下面这张图是该论文的总览图:

Score SDE 论文总览:数据经前向 SDE 变成噪声分布,再经反向 SDE 或概率流 ODE 采样回来

图左侧是数据分布,中间是噪声分布(先验),三条箭头分别对应三件事。上排的两条曲线:前向 SDE 把数据逐渐推向噪声;反向 SDE 从噪声出发,用分数场把轨迹拉回数据。下排那条实线是概率流 ODE——它与反向 SDE 共享每一时刻的边缘分布,但轨迹是确定的。图中前向方程写作 dx=f(x,t) dt+g(t) dwd\mathbf{x}=f(\mathbf{x},t)\,dt+g(t)\,d\mathbf{w},反向方程写作 dx=[f(x,t)−g2(t)∇xlog⁡pt(x)] dt+g(t) dwˉd\mathbf{x}=[f(\mathbf{x},t)-g^2(t)\nabla_\mathbf{x}\log p_t(\mathbf{x})]\,dt+g(t)\,d\bar{\mathbf{w}},下方标注 ∇xlog⁡pt(x)\nabla_\mathbf{x}\log p_t(\mathbf{x}),意思是:反向方程和 ODE 都只需要同一个东西——分数场。这张图是把本篇后面各层串起来的主线。

一般形式

Score SDE 把前向过程写成

dx=f(x,t) dt+g(t) dwd\mathbf{x} = f(\mathbf{x},t)\,dt + g(t)\,d\mathbf{w}

其中 w\mathbf{w} 是标准维纳过程(Wiener process,即布朗运动),f(⋅,⋅)f(\cdot,\cdot) 是向量值函数,称为漂移系数;g(⋅)g(\cdot) 是标量函数,称为扩散系数。论文在正文中假设 gg 是标量且不依赖 x\mathbf{x},推广到矩阵形式见其附录。这个方程的意义是:每个时刻的微小位移由两部分相加——一个确定性的漂移,加上一个尺度为 g(t)g(t) 的随机增量。

VE 型:方差爆炸(SMLD 的连续化)

第一种来自 NCSN / SMLD(Song 和 Ermon,2019):加噪时只是单纯叠加越来越大的噪声,不收缩原始信号。连续化后写成

dx=dσ2(t)dt dwd\mathbf{x} = \sqrt{\frac{d\sigma^2(t)}{dt}}\,d\mathbf{w}

漂移项为零,扩散项只取决于噪声方差 σ2(t)\sigma^2(t) 随时间的增长率。给定 x0x_0,其条件分布是

p0t(x(t)∣x(0))=N(x(t); x(0), σ2(t)I)p_{0t}(\mathbf{x}(t)\mid \mathbf{x}(0))=\mathcal{N}\left(\mathbf{x}(t);\ \mathbf{x}(0),\ \sigma^2(t)\mathbf{I}\right)

均值恒等于原始数据,方差随时间单调增长。这就是 variance exploding(VE) 名字的来源:总方差等于数据方差加上 σ2(t)\sigma^2(t),一路爆炸。SMLD 的几何级数噪声日程 σmin⁡=σ1<⋯<σN=σmax⁡\sigma_{\min}=\sigma_1<\cdots<\sigma_N=\sigma_{\max} 在连续极限下变成

σ(t)=σmin⁡(σmax⁡σmin⁡)t,t∈(0,1]\sigma(t)=\sigma_{\min}\left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^t,\qquad t\in(0,1]

也就是噪声幅度按指数增长。为什么要指数增长?因为它让 log-SNR 在时间上近似线性变化,模型在各个噪声水平上的”难度”更均匀,不会被极低噪声和极高噪声的阶段拖累。

VP 型:方差保持(DDPM 的连续化)

第一层推出的就是这一型。DDPM 的 βt\beta_t 在 N=1000N=1000 时是等差数列,N→∞N\to\infty 时 βt\beta_t 变成 tt 的线性函数。用论文的记号,βˉmin⁡\bar\beta_{\min} 与 βˉmax⁡\bar\beta_{\max} 是方差(不是幅度),连续化后

dx=−12(βˉmin⁡+t(βˉmax⁡−βˉmin⁡))x dt+βˉmin⁡+t(βˉmax⁡−βˉmin⁡) dw,t∈[0,1]d\mathbf{x}=-\frac{1}{2}\left(\bar\beta_{\min}+t(\bar\beta_{\max}-\bar\beta_{\min})\right)\mathbf{x}\,dt +\sqrt{\bar\beta_{\min}+t(\bar\beta_{\max}-\bar\beta_{\min})}\,d\mathbf{w}, \qquad t\in[0,1]

这里有一个符号上的陷阱需要点破:论文正文的 βˉmax⁡=20\bar\beta_{\max}=20 与 DDPM 原始实现里通常写的 βmax⁡=0.02\beta_{\max}=0.02 看上去差了三个数量级,但两者指的是同一个东西——都是方差日程。差别在于时间轴:DDPM 把总时长切成 N=1000N=1000 个离散步,每一步的方差是 2×10−52\times10^{-5} 量级,1000 步累积到 0.02;而连续形式把整个日程压缩到归一化的 [0,1][0,1] 区间,于是方差的”每秒速率”变大,端点值也就写成了 20 量级。真正需要对齐的是两条曲线下的累积效应,而不是端点数量。

条件分布是

p0t(x(t)∣x(0))=N(x(t); e−14t2(βˉmax⁡−βˉmin⁡)−12tβˉmin⁡ x(0), I−Ie−12t2(βˉmax⁡−βˉmin⁡)−tβˉmin⁡)p_{0t}(\mathbf{x}(t)\mid\mathbf{x}(0))=\mathcal{N}\left(\mathbf{x}(t);\ e^{-\frac{1}{4}t^2(\bar\beta_{\max}-\bar\beta_{\min})-\frac{1}{2}t\bar\beta_{\min}}\,\mathbf{x}(0),\ \mathbf{I}-\mathbf{I}e^{-\frac{1}{2}t^2(\bar\beta_{\max}-\bar\beta_{\min})-t\bar\beta_{\min}}\right)

把指数里的系数记成 C(t)=14t2(βˉmax⁡−βˉmin⁡)+12tβˉmin⁡C(t)=\frac{1}{4}t^2(\bar\beta_{\max}-\bar\beta_{\min})+\frac{1}{2}t\bar\beta_{\min},那么均值缩放是 e−C(t)e^{-C(t)},方差是 1−e−2C(t)1-e^{-2C(t)}。两者之和

(e−C)2+(1−e−2C)=1\left(e^{-C}\right)^2+\left(1-e^{-2C}\right)=1

恰好等于 1,这用一行代数验证了”方差保持”:漂移导致的均值收缩,与扩散导致的方差增加,精确抵消。这就是第一层里”两项合起来维持方差不变”那句话的证明。

sub-VP:让方差更”缓慢地”逼近 1

第三型是论文提出的改进版。它沿用 VP 的漂移项 −12β(t)x-\frac{1}{2}\beta(t)\mathbf{x} 与同一条 β(t)\beta(t) 日程,但把扩散系数改成一个积分形式:

g2(t)=β(t)(1−e−2∫0tβ(s) ds)g^2(t)=\beta(t)\left(1-e^{-2\int_0^t\beta(s)\,ds}\right)

这个式子不是随手改的。令 B(t)=∫0tβ(s)dsB(t)=\int_0^t\beta(s)ds(它与前面 VP 的 C(t)C(t) 满足 B=2CB=2C,只是把 1/21/2 放在指数的里外),用积分因子 eB(t)/2e^{B(t)/2} 解这个线性 SDE,得到的条件分布是

p0t(x(t)∣x(0))=N(x(t); e−B(t)/2x(0), [1−e−B(t)]2I)p_{0t}(\mathbf{x}(t)\mid\mathbf{x}(0))=\mathcal{N}\left(\mathbf{x}(t);\ e^{-B(t)/2}\mathbf{x}(0),\ \left[1-e^{-B(t)}\right]^2\mathbf{I}\right)

对比 VP 的条件分布(均值 e−B/2e^{-B/2}、方差 1−e−B1-e^{-B}),sub-VP 的均值完全相同,方差却是 [1−e−B]2\left[1-e^{-B}\right]^2。推导的关键一步是方差积分:

∫0te−(B(t)−B(s))β(s)(1−e−2B(s))ds=(1−e−B(t))2\int_0^t e^{-(B(t)-B(s))}\beta(s)\left(1-e^{-2B(s)}\right)ds =\left(1-e^{-B(t)}\right)^2

做变量替换 u=B(t)−B(s)u=B(t)-B(s) 即可验证。方差在中间阶段明显更小:1−e−B1-e^{-B} 在 BB 较小时近似 BB,而它的平方近似 B2B^2,所以噪声注入被压低了。论文报告 sub-VP 在 CIFAR-10 上的似然(bits/dim)稳定优于 VP,原因正是这条更平滑的方差曲线让低噪声区的密度估计更容易;样本质量的提升则不如似然明显,因为 FID 更依赖中高噪声区的分布形状。

三型对比

家族连续化自条件分布强项
VENCSN / SMLD均值不变,方差 =σ2(t)=\sigma^2(t) 增长样本质量,需裁剪起点
VPDDPM均值 e−B/2e^{-B/2} 收缩,方差 1−e−B1-e^{-B}终端标准高斯,训练稳定
sub-VP新提出均值同上,方差 [1−e−B]2\left[1-e^{-B}\right]^2 更平滑似然更好

从推理角度看,这张表最关键的一列是终端分布。VE 的终端方差很大,采样起点落在 [−σmax⁡,σmax⁡][-\sigma_{\max},\sigma_{\max}] 这个很宽的数值范围里,通常要裁剪;VP 与 sub-VP 的终端是标准高斯,起点干净、数值稳定。三型在论文里的表现也不是”一型全面胜出”:VE 通常给出更好的样本质量,VP/sub-VP 则给出更好的似然。今天大规模图像模型的主干多用 VP 或 flow matching,重要原因是训练稳定、终端是标准高斯、便于与潜空间和条件注入组合;但 EDM 系的 VE 参数化并没有消失,k-diffusion 一类采样器至今仍以 σ\sigma 为时间轴,在同样的网络上做 VE 式积分。

连续化是否可信:图 5

论文验证连续化是否保留了离散链的性质,用图 5 对比了离散扰动核与连续 SDE 的解析扰动核:

Score SDE 论文图 5:SMLD 与 VE SDE、DDPM 与 VP SDE 的扰动核几乎完全重合

三个子图:(a) 对比 SMLD 离散链与 VE SDE 的扰动核方差;(b) 对比 DDPM 与 VP SDE 扰动核均值的缩放因子;(c) 对比 DDPM 与 VP SDE 扰动核方差。曲线几乎完全重合,说明 N=1000N=1000 的离散链已经非常接近连续极限。这不是说离散链”错了”,而是说它是连续方程的忠实离散化:两者在同一噪声水平上的边缘分布(均值、方差)一致。既然边缘分布一致,那么只在边缘分布上定义的分数、概率流与反向过程,就可以从离散对象的性质直接继承过来——这是后面两层推导的合法基础。

三型之间怎么换”噪声时钟”

同一个网络家族往往可以在不同的时间坐标下被调用,原因是三型之间存在显式的变量替换。定义 log-SNR

λ(t)=log⁡αtσt\lambda(t)=\log\frac{\alpha_t}{\sigma_t}

其中 αt\alpha_t 是均值缩放因子、σt\sigma_t 是噪声标准差。对 VP,αt=αˉt\alpha_t=\sqrt{\bar\alpha_t}、σt=1−αˉt\sigma_t=\sqrt{1-\bar\alpha_t},所以

λVP(t)=12log⁡αˉt1−αˉt\lambda_{\text{VP}}(t)=\frac{1}{2}\log\frac{\bar\alpha_t}{1-\bar\alpha_t}

对 VE,αt=1\alpha_t=1、σt=σ(t)\sigma_t=\sigma(t),所以 λVE(t)=−log⁡σ(t)\lambda_{\text{VE}}(t)=-\log\sigma(t)。把两式联立,就得到 VP 的 αˉ\bar\alpha 与 VE 的 σ\sigma 之间的换算:

σ=1−αˉαˉ\sigma=\sqrt{\frac{1-\bar\alpha}{\bar\alpha}}

这个换算在工程里非常实用。EDM 把时间轴直接取成噪声标准差 σ\sigma,并把网络输入按 1/σ2+σdata21/\sqrt{\sigma^2+\sigma_{\text{data}}^2} 缩放;采样器代码只需要在 σ\sigma 与 log-SNR 之间转换,就能同时服务 VE 训练与 VP 训练的模型。diffusers 与 k-diffusion 的 scheduler 之所以能互相移植,底层就是这条换算关系。

一个数值上的坑:t=0t=0 不能直接用

VP 型在 t→0t\to0 时方差趋于 0,数值上会除以一个极小的数,导致训练和采样不稳定。论文的做法是把计算限制在 t∈[ϵ,1]t\in[\epsilon,1]:采样时取 ϵ=10−3\epsilon=10^{-3},让 x(ϵ)\mathbf{x}(\epsilon) 的方差与 DDPM 第一个离散步的方差对齐;训练与似然计算时取 ϵ=10−5\epsilon=10^{-5},因为更小的 ϵ\epsilon 给出的似然更好。这个细节解释了为什么很多代码里 scheduler 的第一个”噪声水平”不是精确的 0,而是一个很小的正数——它不是补丁,而是连续时间建模的必然要求。

第三层:Fokker–Planck 方程——边缘分布如何随时间流动

前面两层一直在操作”样本轨迹”。但采样和训练真正关心的是分布:给定数据分布 p0p_0,经过前向 SDE 之后,每个时刻的边缘分布 ptp_t 长什么样?这个问题的答案由 Fokker–Planck 方程给出。

从 Itô 公式推出演化方程

设 x(t)\mathbf{x}(t) 满足 dx=f(x,t)dt+g(t)dwd\mathbf{x}=f(\mathbf{x},t)dt+g(t)d\mathbf{w}。取任意光滑、紧支撑的测试函数 φ(x)\varphi(\mathbf{x}),对 φ(x(t))\varphi(\mathbf{x}(t)) 用 Itô 公式:

dφ(x(t))=∇φ⋅f dt+12g2∑i∂2φ∂xi2 dt+∇φ⋅g dwd\varphi(\mathbf{x}(t)) =\nabla\varphi\cdot f\,dt+\frac{1}{2}g^2\sum_i\frac{\partial^2\varphi}{\partial x_i^2}\,dt +\nabla\varphi\cdot g\,d\mathbf{w}

两边取期望。随机积分项的期望为零(Itô 积分的鞅性质),于是

ddtE[φ(x(t))]=E[∇φ⋅f+12g2Δφ]\frac{d}{dt}\mathbb{E}\left[\varphi(\mathbf{x}(t))\right] =\mathbb{E}\left[\nabla\varphi\cdot f+\frac{1}{2}g^2\Delta\varphi\right]

这里 Δ=∑i∂2/∂xi2\Delta=\sum_i\partial^2/\partial x_i^2 是拉普拉斯算子。左边按定义写成 ∫φ(x) ∂tpt(x) dx\int\varphi(\mathbf{x})\,\partial_t p_t(\mathbf{x})\,d\mathbf{x}。右边把期望写成对 ptp_t 的积分,然后对每一项做分部积分(边界项因为 φ\varphi 紧支撑而消失):

∫φ ∂tpt dx=∫φ[−∇⋅(fpt)+12g2Δpt]dx\int \varphi\,\partial_t p_t\,d\mathbf{x} =\int \varphi\left[-\nabla\cdot(f p_t)+\frac{1}{2}g^2\Delta p_t\right]d\mathbf{x}

因为这对所有 φ\varphi 都成立,被积函数必须相等:

∂pt∂t=−∇⋅(f(x,t) pt)+12g2(t) Δpt\frac{\partial p_t}{\partial t} =-\nabla\cdot\left(f(\mathbf{x},t)\,p_t\right) +\frac{1}{2}g^2(t)\,\Delta p_t

这就是 Fokker–Planck 方程(也叫前向 Kolmogorov 方程)。它有两个项,物理意义完全不同:

  • −∇⋅(fpt)-\nabla\cdot(f p_t) 是平流项。它描述密度被漂移场 ff 带着走:如果 ff 把所有点拉向原点,密度就会向原点聚集。
  • 12g2Δpt\frac{1}{2}g^2\Delta p_t 是扩散项。它描述密度向四周摊开。拉普拉斯算子在密度峰值处为负、在两侧为正,所以峰值会被削平、尾部会被填高。

一个最简单的校验:纯扩散

取 f=0f=0、g=2Dg=\sqrt{2D}(DD 为常数),方程退化成热方程

∂pt∂t=D Δpt\frac{\partial p_t}{\partial t}=D\,\Delta p_t

从 p0=δ(x−x0)p_0=\delta(\mathbf{x}-\mathbf{x}_0) 出发,解是 N(x0,2Dt I)\mathcal{N}(\mathbf{x}_0,2Dt\,\mathbf{I}):方差随时间线性增长。这与 dx=2D dwd\mathbf{x}=\sqrt{2D}\,d\mathbf{w} 给出的布朗运动一致——单步方差 2D dt2D\,dt,累积 2Dt2Dt。系数 gg 取 2D\sqrt{2D}、方程里写 g2Δpg^2\Delta p 时,两者恰好对上。

把它写成连续性方程

扩散项也可以写成一个散度:

12g2Δpt=∇⋅(12g2∇pt)=∇⋅(12g2pt∇log⁡pt)\frac{1}{2}g^2\Delta p_t=\nabla\cdot\left(\frac{1}{2}g^2\nabla p_t\right) =\nabla\cdot\left(\frac{1}{2}g^2 p_t\nabla\log p_t\right)

第二个等号用了 ∇p=p∇log⁡p\nabla p=p\nabla\log p。代回原式:

∂pt∂t=−∇⋅[(f−12g2∇log⁡pt)pt]\frac{\partial p_t}{\partial t} =-\nabla\cdot\left[\left(f-\frac{1}{2}g^2\nabla\log p_t\right)p_t\right]

定义概率流速度场

v(x,t)=f(x,t)−12g2(t) ∇xlog⁡pt(x)\mathbf{v}(\mathbf{x},t)=f(\mathbf{x},t)-\frac{1}{2}g^2(t)\,\nabla_\mathbf{x}\log p_t(\mathbf{x})

就得到标准的连续性方程

∂pt∂t+∇⋅(v pt)=0\frac{\partial p_t}{\partial t}+\nabla\cdot\left(\mathbf{v}\,p_t\right)=0

连续性方程是流体力学里”质量守恒”的微分形式:密度的局部变化,等于流入与流出的净通量之差。这里”流体”是概率质量,速度场由漂移项与分数场共同决定。

关键结论:概率流 ODE 是精确的

考虑常微分方程

dxdt=v(x,t)\frac{d\mathbf{x}}{dt}=\mathbf{v}(\mathbf{x},t)

一个确定性 ODE 如何搬运密度?答案是Liouville 方程:如果初始密度是 p0p_0,沿该速度场输运后的密度 qtq_t 满足

∂qt∂t+∇⋅(vqt)=0\frac{\partial q_t}{\partial t}+\nabla\cdot(\mathbf{v}q_t)=0

这与上面 Fokker–Planck 方程改写后的形式完全相同。既然两者是同一个方程、同一个初始条件 p0p_0,解的唯一性给出 qt=ptq_t=p_t 对所有 tt 成立。这就是概率流 ODE(probability flow ODE):

dxdt=f(x,t)−12g2(t) ∇xlog⁡pt(x)\frac{d\mathbf{x}}{dt} =f(\mathbf{x},t)-\frac{1}{2}g^2(t)\,\nabla_\mathbf{x}\log p_t(\mathbf{x})

把 f=−12β(t)xf=-\frac{1}{2}\beta(t)\mathbf{x}、g=β(t)g=\sqrt{\beta(t)} 代入,得到的正是 VP 家族的概率流 ODE——也就是采样器那一层反复用到的那条方程的出处。需要强调的是:它与前向 SDE 共享每一个时刻的边缘分布,这是恒等,不是近似。两条轨迹(SDE 的随机轨迹与 ODE 的确定轨迹)在同一个 tt 上并不相同,但它们对应的样本集合服从同一个分布。这就像同一团雾的两种描述:一种让每个粒子随机游走,另一种让粒子沿着平均流场流动——粒子的路径不同,雾的形状随时间的变化相同。

这个结论的工程意义很大。它说明采样不必沿着随机 SDE 走:只要知道分数场,就可以解一条确定性的 ODE,用高阶积分器跳步。DDIM、DPM-Solver、Heun 这类确定性采样器都是在积分这条 ODE(第六篇有完整的误差阶与积分器推导);DDIM 之所以能不重新训练就跳步,根源正在这里——它积分的对象是一个与训练过程共享边缘分布的确定性方程,而不是训练时的随机链。

分数是唯一的未知量

Fokker–Planck 方程里有 ptp_t,而 ptp_t 是数据分布经过加噪后的结果,无法解析写出。但概率流速度场里出现的不是 ptp_t 本身,而是 ∇log⁡pt\nabla\log p_t——分数。这带来一个关键的工程事实:

  • 只要网络学会了分数场,就能写出速度场,从而积分 ODE;
  • 前向过程不需要神经网络参与,它是完全已知的加噪过程;
  • 反向过程的所有”知识”都集中在分数这一个向量场里。

这也是 score-based 视角的威力所在:它把”学习一个生成模型”化简成”学习一个向量场”。后面两层分别回答两个问题:这个向量场怎么用数据学出来(第五层),以及如何把它变成可执行的采样方程(第四层、第六层)。

第四层:反向时间 SDE——Anderson 定理

问题

前向 SDE 把数据变成噪声:t=0t=0 时 x∼pdata\mathbf{x}\sim p_{\text{data}},t=Tt=T 时 x∼pT≈N(0,I)\mathbf{x}\sim p_T\approx\mathcal{N}(0,\mathbf{I})。生成需要反过来:从 TT 时刻的标准高斯出发,沿着时间倒流,回到 t=0t=0 的数据分布。

离散 DDPM 的做法是学一个反向马尔可夫链 q(xt−1∣xt)q(\mathbf{x}_{t-1}\mid\mathbf{x}_t)。连续时间下,我们要找的是时间反向的 SDE:一个以 τ=T−t\tau=T-t 为前进方向、从 pTp_T 流向 p0p_0 的随机过程。

用 Fokker–Planck 反推反向漂移

设反向时间为 τ=T−t\tau=T-t,定义反向过程的密度 p~τ(x)=pT−τ(x)\tilde p_\tau(\mathbf{x})=p_{T-\tau}(\mathbf{x})。我们想找一个 SDE

dx=f~(x,τ) dτ+g(T−τ) dwˉd\mathbf{x}=\tilde f(\mathbf{x},\tau)\,d\tau+g(T-\tau)\,d\bar{\mathbf{w}}

使得它的 Fokker–Planck 方程恰好搬运 p~τ\tilde p_\tau。先看 p~\tilde p 对 τ\tau 的导数(注意 ∂τp~=−∂tp\partial_\tau\tilde p=-\partial_t p):

∂p~τ∂τ=−∂pt∂t=∇⋅(fpt)−12g2Δpt\frac{\partial \tilde p_\tau}{\partial\tau} =-\frac{\partial p_t}{\partial t} =\nabla\cdot\left(f p_t\right)-\frac{1}{2}g^2\Delta p_t

把右边整理成”负散度”的形式。利用 Δp=∇⋅(p∇log⁡p)\Delta p=\nabla\cdot(p\nabla\log p):

∂p~τ∂τ=−∇⋅[(−f+g2∇log⁡pt)pt]\frac{\partial \tilde p_\tau}{\partial\tau} =-\nabla\cdot\left[\left(-f+g^2\nabla\log p_t\right)p_t\right]

另一方面,反向 SDE 的 Fokker–Planck 方程要求

∂p~τ∂τ=−∇⋅(f~ p~τ)+12g2Δp~τ=−∇⋅[(f~−12g2∇log⁡p~τ)p~τ]\frac{\partial \tilde p_\tau}{\partial\tau} =-\nabla\cdot\left(\tilde f\,\tilde p_\tau\right)+\frac{1}{2}g^2\Delta\tilde p_\tau =-\nabla\cdot\left[\left(\tilde f-\frac{1}{2}g^2\nabla\log \tilde p_\tau\right)\tilde p_\tau\right]

由于 p~τ=pt\tilde p_\tau=p_t,两式逐项对比,得到

f~(x,τ)=− f(x,T−τ)+g2(T−τ) ∇xlog⁡pT−τ(x)\tilde f(\mathbf{x},\tau)=-\,f(\mathbf{x},T-\tau)+g^2(T-\tau)\,\nabla_\mathbf{x}\log p_{T-\tau}(\mathbf{x})

换回原来的时间变量 tt(并用 dt=−dτdt=-d\tau 吸收负号),就得到 Score SDE 论文里的反向方程:

dx=[f(x,t)−g2(t)∇xlog⁡pt(x)]dt+g(t) dwˉd\mathbf{x}=\left[f(\mathbf{x},t)-g^2(t)\nabla_\mathbf{x}\log p_t(\mathbf{x})\right]dt+g(t)\,d\bar{\mathbf{w}}

其中 wˉ\bar{\mathbf{w}} 是时间从 TT 流向 00 时的维纳过程,dtdt 是负的无穷小时间步。这个结果最早由 Anderson 在 1982 年的论文《Reverse-time diffusion equation models》中给出,因此常被称为 Anderson 定理。

逐项解释

  • f(x,t)dtf(\mathbf{x},t)dt:原来的漂移项,方向不变。
  • −g2(t)∇log⁡pt dt-g^2(t)\nabla\log p_t\,dt:新出现的修正项。它沿分数场方向推动样本。分数指向”密度增大”的方向,而在反向时间中我们要从低密度区回到高密度区,所以这一项是”逆流而上”的动力。
  • g(t)dwˉg(t)d\bar{\mathbf{w}}:噪声项保持不变。布朗运动在时间反演下仍然是布朗运动,所以扩散系数不需要改符号;变的只是时间的方向。

这里最容易混淆的是符号。在 VP 型中,前向漂移 −12βx-\frac{1}{2}\beta x 把样本往原点收缩;反向漂移则是 −12βx−β∇log⁡pT−τ-\frac{1}{2}\beta x-\beta\nabla\log p_{T-\tau}。这两项的作用方向不同:收缩项来自前向过程本身的衰减,分数项则是反向过程中用来把样本”推回”高密度区的修正。把 ∇log⁡pt=−ϵθ/σt\nabla\log p_t=-\boldsymbol{\epsilon}_\theta/\sigma_t 代入,负负得正,反向漂移变成

−12βx+βσtϵθ(x,t)-\frac{1}{2}\beta\mathbf{x}+\frac{\beta}{\sigma_t}\boldsymbol{\epsilon}_\theta(\mathbf{x},t)

这正是 DDPM 反向均值公式的连续形式:均值更新由”收缩项 + 噪声预测项”组成。

反向 SDE 与 DDPM 的离散反向链

DDPM 的反向步骤(第一篇推导过)是

xt−1=1αt(xt−βt1−αˉtϵθ(xt,t))+σt z\mathbf{x}_{t-1} =\frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t)\right) +\sigma_t\,\mathbf{z}

其中 σt\sigma_t 有两种经典取法:取后验方差 β~t=1−αˉt−11−αˉtβt\tilde\beta_t=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t,或取固定方差 βt\beta_t。第一篇的 DDIM 分析里,用一个参数 η\eta 把两者插值起来:η=1\eta=1 对应后验方差(祖先采样),η=0\eta=0 对应零噪声(确定性 DDIM)。

从连续时间看,这两种取法都是同一个反向 SDE 的不同离散化:

  • 反向 SDE 的扩散系数是 g=β(t)g=\sqrt{\beta(t)},在步长 Δt\Delta t 下,Euler–Maruyama 离散注入的噪声方差是 g2Δt=βΔtg^2\Delta t=\beta\Delta t;
  • DDPM 的后验方差 β~t\tilde\beta_t 一般小于 βt\beta_t,所以它在每一步注入的噪声比”朴素 Euler”少;
  • 当 Δt→0\Delta t\to0 时,两者都收敛到同一个连续过程;但在有限步数下,噪声量级的差异会显著影响样本质量,这就是 η\eta 这个旋钮存在的原因。

换句话说,DDPM 的反向链不是”另一个模型”,而是反向 SDE 在特定步长、特定方差选择下的离散实现。理解这一点,就能明白为什么同一个训练好的网络可以换不同的 sampler、换不同的步数、在随机与确定之间切换——它们都是对同一条连续方程的不同数值解法。

一张对照表

连续对象离散对应物在推理中的作用
前向 SDEDDPM 前向加噪链构造训练样本 xt\mathbf{x}_t
反向 SDEDDPM 祖先采样(η=1\eta=1)随机采样,每步注入噪声
概率流 ODEDDIM(η=0\eta=0)、DPM-Solver确定性采样,可跳步、可反演
分数场 ∇log⁡pt\nabla\log p_t噪声预测 ϵθ\boldsymbol{\epsilon}_\theta网络唯一需要学的东西

第五层:连续时间去噪分数匹配——网络到底在学什么

目标函数

连续时间下,训练目标写成

L(θ)=Et∼U[0,T] Ex0∼pdata Ext∼p0t(⋅∣x0)[λ(t)∥sθ(xt,t)−∇xtlog⁡p0t(xt∣x0)∥2]\mathcal{L}(\theta)=\mathbb{E}_{t\sim\mathcal{U}[0,T]}\ \mathbb{E}_{\mathbf{x}_0\sim p_{\text{data}}}\ \mathbb{E}_{\mathbf{x}_t\sim p_{0t}(\cdot\mid\mathbf{x}_0)} \left[\lambda(t)\left\|\mathbf{s}_\theta(\mathbf{x}_t,t)-\nabla_{\mathbf{x}_t}\log p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0)\right\|^2\right]

逐项解释:

  • tt 在 [0,T][0,T] 上均匀采样,保证每个噪声水平都被训练到;
  • x0\mathbf{x}_0 从数据分布里取一个真实样本;
  • xt\mathbf{x}_t 按前向转移核 p0t(xt∣x0)p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0) 加噪得到;
  • sθ\mathbf{s}_\theta 是网络输出的分数估计;
  • ∇log⁡p0t(xt∣x0)\nabla\log p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0) 是条件分数,它是可解析计算的监督信号;
  • λ(t)>0\lambda(t)>0 是权重函数,决定各噪声水平在损失里的相对重要性。

为什么监督信号可以是条件分数而不是边缘分数?这来自一个恒等式:边缘分数等于条件分数的后验期望,

∇xtlog⁡pt(xt)=Ep(x0∣xt)[∇xtlog⁡p0t(xt∣x0)]\nabla_{\mathbf{x}_t}\log p_t(\mathbf{x}_t) =\mathbb{E}_{p(\mathbf{x}_0\mid\mathbf{x}_t)}\left[\nabla_{\mathbf{x}_t}\log p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0)\right]

证明只用把 pt(xt)=∫p0t(xt∣x0)pdata(x0)dx0p_t(\mathbf{x}_t)=\int p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0)p_{\text{data}}(\mathbf{x}_0)d\mathbf{x}_0 代入,把梯度移进积分号,再识别出后验权重。因此,用条件分数做回归,最优解正是边缘分数。这就是 denoising score matching(去噪分数匹配)的核心,最早由 Vincent 在 2011 年建立与去噪自编码器的联系。

条件分数长什么样

对高斯转移核 p0t(xt∣x0)=N(αtx0,σt2I)p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0)=\mathcal{N}(\alpha_t\mathbf{x}_0,\sigma_t^2\mathbf{I}),

log⁡p0t(xt∣x0)=−∥xt−αtx0∥22σt2+const\log p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0) =-\frac{\|\mathbf{x}_t-\alpha_t\mathbf{x}_0\|^2}{2\sigma_t^2}+\text{const}

对 xt\mathbf{x}_t 求梯度:

∇xtlog⁡p0t(xt∣x0)=−xt−αtx0σt2\nabla_{\mathbf{x}_t}\log p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0) =-\frac{\mathbf{x}_t-\alpha_t\mathbf{x}_0}{\sigma_t^2}

而 xt=αtx0+σtϵ\mathbf{x}_t=\alpha_t\mathbf{x}_0+\sigma_t\boldsymbol{\epsilon},所以分子就是 σtϵ\sigma_t\boldsymbol{\epsilon},条件分数化简为

∇xtlog⁡p0t(xt∣x0)=−ϵσt\nabla_{\mathbf{x}_t}\log p_{0t}(\mathbf{x}_t\mid\mathbf{x}_0) =-\frac{\boldsymbol{\epsilon}}{\sigma_t}

这就是”预测噪声等于预测分数”的完整出处:不是类比,而是一个精确的代数关系。网络输出 ϵθ\boldsymbol{\epsilon}_\theta,分数就是 −ϵθ/σt-\boldsymbol{\epsilon}_\theta/\sigma_t。

三种参数化的换算

同一个分数可以用多种方式参数化,训练目标的形式随之变化。设网络输出为 x^0\hat{\mathbf{x}}_0(预测干净数据)、ϵ^\hat{\boldsymbol{\epsilon}}(预测噪声)或 v^\hat{\mathbf{v}}(预测速度),它们之间的换算都由 xt=αtx0+σtϵ\mathbf{x}_t=\alpha_t\mathbf{x}_0+\sigma_t\boldsymbol{\epsilon} 决定:

参数化定义与分数的关系
噪声预测ϵ^=ϵθ(xt,t)\hat{\boldsymbol{\epsilon}}=\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t)∇log⁡pt=−ϵ^/σt\nabla\log p_t=-\hat{\boldsymbol{\epsilon}}/\sigma_t
数据预测x^0=(xt−σtϵ^)/αt\hat{\mathbf{x}}_0=(\mathbf{x}_t-\sigma_t\hat{\boldsymbol{\epsilon}})/\alpha_t∇log⁡pt=(αtx^0−xt)/σt2\nabla\log p_t=(\alpha_t\hat{\mathbf{x}}_0-\mathbf{x}_t)/\sigma_t^2
速度预测见下文的路径约定由 v^\hat{\mathbf{v}} 解出 ϵ^\hat{\boldsymbol{\epsilon}} 后套用第一行

速度预测是 Flow Matching 与 rectified flow 的常用形式:它直接回归”从数据到噪声”的速度,训练目标在高低噪声区间更均衡。它的换算公式依赖路径约定。以 rectified flow 的线性路径为例,xt=(1−t)x0+tϵ\mathbf{x}_t=(1-t)\mathbf{x}_0+t\boldsymbol{\epsilon}、v=ϵ−x0\mathbf{v}=\boldsymbol{\epsilon}-\mathbf{x}_0,反解得到 ϵ=xt+(1−t)v\boldsymbol{\epsilon}=\mathbf{x}_t+(1-t)\mathbf{v},于是

∇log⁡pt=−xt+(1−t)v^t\nabla\log p_t=-\frac{\mathbf{x}_t+(1-t)\hat{\mathbf{v}}}{t}

如果换成 α2+σ2=1\alpha^2+\sigma^2=1 的 VP 约定,反解出的系数不同,代入后形式也不同。所以读到”v-prediction 怎么转分数”的代码时,第一步永远是确认它用的是哪条路径约定,而不是套一个记忆中的系数。第一篇讲过,几种参数化在数学上等价,差别在于不同噪声水平上的数值尺度,以及网络容量如何被分配。

权重 λ(t)\lambda(t) 为什么重要

把条件分数代入损失,若采用噪声预测参数化,损失变成

L=E[λ(t)σt2∥ϵ^−ϵ∥2]\mathcal{L}=\mathbb{E}\left[\lambda(t)\sigma_t^2\left\|\hat{\boldsymbol{\epsilon}}-\boldsymbol{\epsilon}\right\|^2\right]

因为 ∥sθ−∇log⁡p0t∥2=∥ϵ^−ϵ∥2/σt2\|\mathbf{s}_\theta-\nabla\log p_{0t}\|^2=\|\hat{\boldsymbol{\epsilon}}-\boldsymbol{\epsilon}\|^2/\sigma_t^2。于是:

  • 取 λ(t)=1/σt2\lambda(t)=1/\sigma_t^2,得到等权重的噪声回归:每个噪声水平的误差都被归一化到同一尺度。这正是 DDPM 简化损失 Lsimple\mathcal{L}_{\text{simple}} 的连续版本,也是实际训练里最常用的选择——它让高噪声与低噪声阶段的梯度量级可比。
  • 取 λ(t)=1\lambda(t)=1,得到分数空间的原生回归。低噪声时 σt\sigma_t 很小,分数目标 1/σt1/\sigma_t 很大,损失被低噪声区域主导,训练会偏向精细结构;高噪声区域贡献很小。
  • 取 λ(t)=1/E∥∇log⁡p0t∥2\lambda(t)=1/\mathbb{E}\|\nabla\log p_{0t}\|^2 这类与分数尺度挂钩的权重,则让每个噪声水平的相对误差被同等看待,常用于以 bits/dim 为目标的研究。

这三种选择的差别不是”哪个更正确”,而是你把模型容量优先分配给哪个噪声区间。图像生成系统普遍用第一种:采样质量更依赖中低噪声阶段的细节恢复,而等权重噪声回归在这些区间给出了稳定的梯度。以似然为目标的训练更看重低噪声区的精度,因为密度 p0p_0 的估计主要由那里决定。

与条件生成的关系

条件生成(文本到图像、类别条件)在连续框架里只是把分数换成条件分数:

∇log⁡pt(x∣c)=∇log⁡pt(x)+∇log⁡pt(c∣x)\nabla\log p_t(\mathbf{x}\mid c)=\nabla\log p_t(\mathbf{x})+\nabla\log p_t(c\mid\mathbf{x})

第二项是”隐式分类器”的梯度。classifier-free guidance 用一次额外的无条件前向来估计它:

ϵ~=ϵθ(xt,t,∅)+s(ϵθ(xt,t,c)−ϵθ(xt,t,∅))\tilde{\boldsymbol{\epsilon}}=\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t,\varnothing)+s\left(\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t,c)-\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t,\varnothing)\right)

这相当于把分数场往条件方向平移。第四篇已经详细拆解过 CFG 的公式、成本与蒸馏,这里只强调一点:guidance 改变的是分数场,而采样器积分的仍然是同一条 SDE/ODE。所以 CFG 的强度可以直接从连续方程的角度理解——它放大的是条件与无条件分数之差,而不是某个离散步骤的特殊操作。

第六层:预测–校正采样器——SDE 与 ODE 之间怎么选

两条路的两张面孔

有了前几层的结论,同一个训练好的网络 sθ(x,t)s_\theta(\mathbf{x},t) 可以驱动两种采样:

  1. 反向 SDE 采样:离散化 dx=[f−g2∇log⁡pt]dt+g dwˉd\mathbf{x}=[f-g^2\nabla\log p_t]dt+g\,d\bar{\mathbf{w}}。每一步注入噪声,路径是随机的;如果从 pTp_T 出发,它的边际分布就是 ptp_t,只要离散化足够细,终点就是数据分布。
  2. 概率流 ODE 采样:离散化 dx=[f−12g2∇log⁡pt]dtd\mathbf{x}=[f-\frac{1}{2}g^2\nabla\log p_t]dt。每一步确定,没有噪声;同样从 pTp_T 出发,边际分布也是 ptp_t。

两者的区别不在于”哪个更对”——从边缘分布看它们是同一个过程——而在于误差从哪里来。SDE 的离散化误差主要来自”用有限步长的 Euler 步近似一个随机微分方程”:每一步的噪声量级被固定了,步长放大会使路径偏离真实的扩散过程。ODE 的误差主要来自分数估计误差:路径是确定的,每一步都只是”按当前速度往前走”,如果网络在某个点估计错了分数,误差会沿着轨迹累积下去。

为什么要加一个校正器

这两类误差的形状不同:SDE 用细粒度离散可以让误差变小,但代价是前向次数大;ODE 的步数可以很少,但没有机制”抵抗”分数估计误差。

Langevin 动力学补上了这一块。对分布 ptp_t,用以下迭代生成样本:

x←x+ϵ ∇xlog⁡pt(x)+2ϵ z,z∼N(0,I)\mathbf{x}\leftarrow\mathbf{x}+\epsilon\,\nabla_\mathbf{x}\log p_t(\mathbf{x})+\sqrt{2\epsilon}\,\mathbf{z}, \qquad \mathbf{z}\sim\mathcal{N}(0,\mathbf{I})

在 ϵ→0\epsilon\to0 的极限下,这个离散迭代的平稳分布正是 ptp_t:梯度项把样本推向高密度区,噪声项防止它停在某一点上。关键在于它不需要知道前向过程,只需要当前时刻的分数。所以它可以被插入到任意时刻,作为”局部把样本重新拉回 ptp_t“的修正步骤。

这就是 predictor–corrector(PC)框架:用一个 predictor 把样本从 tt 推到下一个时刻,再用若干个 corrector 步把它修正回当前时刻的边缘分布,然后继续往下走。Score SDE 论文把 predictor 设为反向 SDE 的数值解、corrector 设为 Langevin 步。

计算应该怎么分配:图 9

PC 采样有一个直接的工程问题:总前向次数固定时,应该把多少分给 predictor、多少分给 corrector?论文在 LSUN bedroom 与 church 两个 256×256 数据集上做了扫描:

Score SDE 论文图 9:预测–校正采样在 LSUN 上的计算分配扫描,纵轴为总计算量,横轴为分配给校正器的计算量

纵轴是总计算量,横轴是每个噪声水平上分配给 corrector 的 Langevin 步数。同一条等高线上,总计算量相同;横向移动就表示把计算从 predictor 挪给 corrector。论文的结论是:最优点不在两端。corrector 步数为零时,采样退化成纯 predictor;corrector 步数拉满时,corrector 占去了几乎全部预算,predictor 的步数被压到很少。最好的配置在中间段:predictor 负责推进噪声水平,少量 corrector 把样本拉回当前边缘分布。

论文的 Table 4 用具体数字印证了这一点。在 CIFAR-10 的 VP SDE 上,只用 1000 步 predictor 的概率流采样 FID 是 3.59,加到 2000 步是 3.25;而 PC1000(1000 步 predictor 加 1000 步 corrector,总前向次数同样是 2000)取得 3.06。反过来,只用 2000 步 corrector、完全没有 predictor 的 C2000 退化到 19.06——校正器能修局部偏差,但不能替代向前推进。PC 也不是无条件赢:在祖先采样下,P2000 的 FID 是 3.11,PC1000 是 3.21,略差一点。可迁移的结论是”总前向次数固定时,predictor 和 corrector 需要按 predictor 的类型分配额度”,而不是”corrector 越多越好”。

从 PC 视角重新读今天的推理系统

把它映射到真实的推理框架,可以解释几个常见的现象:

  • 为什么有些 scheduler 的名字里带 “SDE”:diffusers 等库里的 EulerAncestralDiscreteScheduler、DPMSolverSDEScheduler 这类调度器,本质是在反向 SDE 上做不同的离散化。它们的”随机性”来自注入噪声,不是额外的技巧。
  • 为什么同一个 prompt、同一组参数,换 scheduler 结果会变:不同 scheduler 对应不同的离散误差结构,即使边缘分布相同,有限步数下的样本路径也不同。
  • 为什么图像编辑要用确定性采样:inverse 与编辑都需要”把一张真实图像编码回某个中间时刻”。概率流 ODE 在给定分数场后是一条可逆的轨迹;SDE 每一步都注入新的随机数,走完再倒着走回不到同一个点。
  • 为什么 ODE + 高阶积分器能压到 20 步以内:ODE 的误差不依赖噪声离散的精度,而是依赖积分器的阶数与步长。DDIM 在结构上等价于一条一阶指数积分器,DPM-Solver 的二阶形式把局部误差降到步长的二次方,因此同样的误差预算下所需步数更少。
  • 为什么随机采样的选项一直保留:corrector 的存在说明,注入的噪声本身可以”自主纠错”。少步蒸馏与一致性模型往往以牺牲这种纠错能力换速度;在质量优先、步数预算宽裕的场景里,带随机项的采样仍是稳妥选择。

第七层:从连续方程推到工程实现

为什么 scheduler 的时间表长那样

以 diffusers 的 DDPMScheduler 为例,它的 betas 数组是离散的 β1,…,β1000\beta_1,\dots,\beta_{1000};sigmas/alphas_cumprod 是这些累积乘积。采样循环里每一步都调用 step():先按模型输出 ϵθ\boldsymbol{\epsilon}_\theta 算出预测的 x0x_0,再按后验方差或固定方差采样下一步。它对应的是第一层的离散链,而不是连续 SDE——区别在于它用的是预先离散化的时间网格。

EulerDiscreteScheduler 则不同:它的 sigmas 是一组连续的 σ\sigma 值(可以不等距),step() 用 Euler 公式沿一条 ODE/SDE 推进。它对应的是第六层的数值积分,时间表可以由 timestep_spacing 参数(leading、linspace、trailing)重新安排。同样的网络、不同的 spacing,就是不同的时间重参数化——这正是第二层里提到的”换一个噪声时钟”。

scheduler 特性连续视角下的含义
trained_betas vs use_karras_sigmas训练时的时间表 vs 推理时重新安排网格
timestep_spacing=leading/trailing在 log-SNR 轴上不均匀布点,重分配步数
prediction_type=epsilon/v_prediction第五层的三种参数化切换
algorithm_type=dpmsolver++ vs sde-dpmsolver++概率流 ODE vs 反向 SDE 的积分器
solver_order一阶(DDIM)还是二阶(DPM-Solver-2)

读一个 scheduler 的代码时,最有用的问法是:它离散化的是哪条方程、用了几阶积分、噪声注入项是否存在。这三个问题回答了,剩下的参数只是在回答”步长怎么排”。

NFE 预算

NFE(number of function evaluations,前向次数)是推理成本的最小货币单位。在连续视角下,它是一个数值分析量:

NFE=K×每步前向次数\text{NFE}=K\times\text{每步前向次数}

其中 KK 是积分步数。DDIM 一阶但可以跳步很猛(几十步),因为每步误差与步长成正比;DPM-Solver-2 每步一次前向、二阶精度,因此相同的 NFE 常常给出更小的误差;Heun 每步两次前向(一次预测、一次校正),精度略高但成本翻倍,所以第六篇的结论是它在扩散任务上”贵且不划算”。CFG 每步需要两次网络前向(条件与无条件),所以在 NFE 的账上,guidance 的强度直接翻倍——这就是为什么 guidance 蒸馏在 2025 年之后的图像模型里成为标配:它把两次前向压到一次。

一个最小可运行的 Euler 采样器

把第一层与第六层的结论合起来,可以写一个只依赖模型前向的最小采样器。它不优化,但每一步都能在连续方程里找到对应:

import torch
@torch.no_grad()
def euler_ode_sample(score_fn, x, sigmas, pred="eps", cfg_scale=1.0, cond=None):
"""score_fn(x, sigma, cond) -> eps prediction; sigmas descending, sigmas[-1] ~ 0"""
for i in range(len(sigmas) - 1):
s_cur, s_next = sigmas[i], sigmas[i + 1]
eps = score_fn(x, s_cur, cond)
if cfg_scale != 1.0:
eps_uncond = score_fn(x, s_cur, None)
eps = eps_uncond + cfg_scale * (eps - eps_uncond)
# 以 sigma 为时钟、alpha=1 的 VE 形式:
# dx/dt = f - (1/2) g^2 * score = sigma' * eps
# 即 dx/dsigma = eps;sigma 递减时步长为负,天然向数据推进
v = eps
x = x + (s_next - s_cur) * v
return x

这段代码刻意用”以 σ\sigma 为时钟”的形式,是因为扩散模型的推理里最常见的工程化写法就是把时间轴直接取成噪声水平 σ\sigma。VE 与 EDM 系模型都是这样;DDPM/VP 系模型则在内部换算成 log-SNR,也就是 λt=log⁡(αt/σt)\lambda_t=\log(\alpha_t/\sigma_t)。在 λ\lambda 轴上等距布点,等价于在 σ\sigma 轴上不等距布点——这解释了为什么有的 scheduler 换一个 timestep_spacing 就会改变样本风格。无论哪种写法,核心都是一次前向、一个速度、一次位移。

多卡并行采样为什么绕不开”每一步都要对齐”

多卡推理时,diffusion 的采样有额外的工程约束:下一步的输入依赖上一步的全部输出,所以每个积分步都要在多卡间交换一次被切分的数据(DistriFusion 用全归约搬补丁结果,PipeFusion 用点对点的 KV 搬移),积分步骤本身就像一道 barrier。连续视角下这很自然:ODE 的数值积分是在整个状态空间上进行的,积分一步就是对整个 x\mathbf{x} 做一次位移,切分只是执行方式。这解释了为什么这类并行加速的优化重点是把单步内的通信量压缩(异步的补丁搬运、跨步的 KV 复用),而不是减少步数——步数由 NFE 预算与采样器阶数决定,是另一条独立的账。

小结

这一篇把扩散模型从离散链推到连续时间,核心结论可以压成八条:

  • DDPM 是 VP-SDE 的离散化。1−β\sqrt{1-\beta} 的展开给出漂移项 −12βx-\frac{1}{2}\beta\mathbf{x},β\sqrt\beta 的缩放给出扩散项 β dw\sqrt\beta\,d\mathbf{w};1000 步链与连续 SDE 的扰动核几乎重合。
  • 三条 SDE 家族:VE 只加噪不收缩信号,终端噪声很大;VP 的均值收缩与方差增长精确抵消,终端是标准高斯;sub-VP 用更平滑的方差曲线换取更好的似然,三者的条件分布都有闭式解。
  • Fokker–Planck 方程描述边缘密度如何被漂移平流、被扩散摊开;把扩散项写成散度后,方程变成连续性方程,速度场是 f−12g2∇log⁡ptf-\frac{1}{2}g^2\nabla\log p_t。
  • 概率流 ODE 与 SDE 共享每个时刻的边缘分布,这是由两个方程解的唯一性保证的恒等关系。DDIM 与 DPM-Solver 积分的都是这条 ODE。
  • 反向 SDE 由 Anderson 定理给出:把 ff 换成 f−g2∇log⁡ptf-g^2\nabla\log p_t,噪声系数不变,时间方向反转。DDPM 的祖先采样是它在特定步长与方差选择下的离散化,DDIM 是 η=0\eta=0 的确定性版本。
  • 训练目标是去噪分数匹配:条件分数可解析计算,最优解等于边缘分数;噪声、数据、速度三种参数化只是同一个分数的不同坐标,权重 λ(t)\lambda(t) 决定模型容量分配给哪个噪声区间。
  • Predictor–Corrector 用 Langevin 校正器修补 predictor 的离散化误差;总前向次数必须在前两者之间分配,校正器无法替代向前推进。
  • 工程上,scheduler 的差异可以还原成三个问题:离散化哪条方程、积分器几阶、噪声注入是否存在。NFE 与 CFG 的账,都可以从这几个量直接算出来。

如果要把这套框架继续往下用,最自然的两个方向是:沿着第六篇把积分器做到高阶(DPM-Solver++ 的多步形式、自适应步长),或者沿着第四篇把条件分数换成 MMDiT 的双流结构,看连续方程的结构如何约束注意力的形状。系列里已经拆过的 DDPM 与 Flow Matching 的数学主线、采样器的数值机制 与 潜空间扩散的条件通路 可以作为延伸阅读;dLLM 方向则可以从 dLLM 推理系统 接上离散状态空间的那条线。

参考资料

  1. Score-Based Generative Modeling through Stochastic Differential Equations (Score SDE)
  2. Denoising Diffusion Probabilistic Models (DDPM)
  3. Generative Modeling by Estimating Gradients of the Data Distribution (NCSN)
  4. Elucidating the Design Space of Diffusion-Based Generative Models (EDM)
  5. Reverse-time diffusion equation models (Anderson, 1982)
  6. A Connection Between Score Matching and Denoising Autoencoders (Vincent, 2011)
  7. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps
  8. Improved Techniques for Training Score-Based Generative Models
  9. Flow Matching for Generative Modeling
  10. k-diffusion: A Python library of diffusion sampling methods
  11. What are Diffusion Models? — Lilian Weng

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

扩散模型从零讲起(十二):连续时间 SDE 视角——分数、Fokker–Planck 与反向过程
https://pinghaoyang.com.cn/articles/insights/posts/diffusion-sde-continuous-part-12/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录