扩散模型从零讲起(十七):非吸收态离散扩散——D3PM 的转移矩阵与 SEDD 的分数熵

13882 字
69 分钟
扩散模型从零讲起(十七):非吸收态离散扩散——D3PM 的转移矩阵与 SEDD 的分数熵

写在前面:为什么需要第二次走进离散扩散

前面用了两篇的篇幅把语言模型上的扩散讲清楚:第(二)篇从 DDPM 的高斯链出发,把”连续加噪”换成”离散状态上的马尔可夫跳跃”,并用吸收态掩码(absorbing mask)把整条链路简化成”加噪就是把 token 换成 [MASK]、去噪就是把 [MASK] 猜回原 token”;第(三)篇接着讲这套机制落到推理系统里,KV 缓存为什么必须在被改动的 token 处失效、调度器为什么在请求准入时根本估不准成本。

吸收态扩散之所以成为主流,原因很实际:它的前向过程是全链路上最简单的——一个 token 要么还是原值,要么已经变成 [MASK],状态转移只发生在”原值 → 掩码”这一个方向上。这带来三个好处:第一,前向概率 qt(xt∣x0)q_t(x_t \mid x_0) 在给定 x0,xtx_0, x_t 和 tt 时可以逐 token 解析地算出来,不需要矩阵指数;第二,一旦某位置被打了掩码,它之后就不会再变成别的值,所以”哪些位置已经确定”这件事是单调的,块并行解码(block-parallel decoding)可以直接利用这种单调性;第三,后验 q(xs∣xt,x0)q(x_s \mid x_t, x_0) 里凡是 xtx_t 处不等于掩码的位置,后验就是一个点质量,重采样只发生在仍处于掩码的位置上。

问题在于,这套”单调性”是有代价的:被掩码的位置丢掉了原 token 的全部信息,而仍未被掩码的位置的信息则完全保留,中间没有任何过渡。“信息是否还在”变成了二元的判断。非掩码离散扩散(non-absorbing discrete diffusion)走的是另一条路:状态之间的转移是双向的、可以来回跳的。本文就围绕两个奠基性的系统讲这件事——D3PM 和 SEDD——它们分别代表”换一种转移矩阵”和”换一种损失函数”两个层面的推进。

D3PM(Structured Denoising Diffusion Models in Discrete State-Spaces)由 Jacob Austin、Daniel Johnson、Jonathan Ho、Daniel Tarlow、Rianne van den Berg 于 2021 年发表在 NeurIPS 上。它最大的贡献是把离散扩散写成一个统一的代数框架:前向过程用一族转移矩阵 QtQ_t 描述,吸收态掩码只是这族矩阵中的一个特例。SEDD(Score Entropy Discrete Diffusion)由 Aaron Lou、Chenlin Meng、Stefano Ermon 于 2023 年提出(arXiv 2023 年 10 月首次公开,2024 年 ICML 正式发表),它承认”转移矩阵已经是 D3PM 的路线”,转而问另一个问题:既然逆过程要学的是相邻状态之间的概率比 pt(y)/pt(x)p_t(y)/p_t(x),那么应该用什么损失去学这个比?它给出的答案是分数熵(score entropy),一种把连续扩散中的分数匹配(score matching)自然推广到离散空间的损失。

两篇合起来正好覆盖非吸收态扩散的两个半边:D3PM 给了”怎么设计前向过程”,SEDD 给了”怎么训练逆过程”。除此之外,本文还会补充一个把二者收拢到一起的视角——MDLM 证明的吸收态掩码的变分下界(variational lower bound),以及它为什么让吸收态扩散在似然上天然优于均匀态扩散。读完这一篇,应该能回答三个问题:为什么均匀态扩散在生成质量上总是差吸收态掩码一截?D3PM 的 QQ 矩阵里哪些设计是真正必要的?SEDD 的分数熵到底改了什么,使得同样的架构下似然能压过以前的离散扩散模型?

第一部分:D3PM 的统一框架

从”加噪”到”转移矩阵”

在连续扩散里,前向加噪写成 xt=αˉt x0+1−αˉt ϵx_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon。这个式子是高斯分布的闭式解,之所以能写得这么干净,是因为高斯分布在卷积下封闭:加两次高斯噪声等于加一次方差相加的噪声。离散状态空间里没有这个便利——一个 token 变成另一个 token 之后,你无法再”合并”几次跳转,因为状态空间里每一次跳转都是离散事件,而不是可以叠加的随机变量。

D3PM 的处理方式是把前向过程写成连续时间马尔可夫链(Continuous-Time Markov Chain,CTMC)的解,再在时间上采样跳转次数。具体地,设每个位置的取值集合为 {1,…,K}\{1, \dots, K\},前向过程由一族 K×KK \times K 的转移速率矩阵 QtQ_t 描述,概率质量向量 pt∈RKp_t \in \mathbb{R}^K 的演化满足:

dptdt=Qt pt\frac{d p_t}{dt} = Q_t\, p_t

这里 ptp_t 的第 ii 项是”某位置在时刻 tt 取值为 ii“的概率。本文统一采用列向量约定(D3PM 论文用的是行向量约定,两者互为转置;矩阵乘法方向只是跟着转置,不改变结论)。在这个约定下,矩阵 QtQ_t 的列和为 0:QtQ_t 的第 (i,j)(i, j) 个元素(行下标 ii、列下标 jj)表示”从 jj 跳到 ii“的速率,因此 Qt(i,j)≥0Q_t(i, j) \geq 0(当 i≠ji \neq j),对角线元素 Qt(j,j)=−∑i≠jQt(i,j)Q_t(j, j) = -\sum_{i \neq j} Q_t(i, j),保证每一列加起来为 0,也就是总概率质量守恒。这与很多文献里”行和为 0”的约定正好转置,读论文时要注意论文用的到底是哪一种,公式里的矩阵乘法方向会随约定翻转。

这个常微分方程的解是矩阵指数:

pt=exp⁡(∫0tQs ds)p0p_t = \exp\left(\int_0^t Q_s\, ds\right) p_0

单个位置的前向条件分布就是”从 x0x_0 那一列出发、走完整条链之后的概率向量”:

qt(y∣x0)=[exp⁡(∫0tQs ds)]y, x0q_t(y \mid x_0) = \left[\exp\left(\int_0^t Q_s\, ds\right)\right]_{y,\, x_0}

也就是矩阵指数第 yy 行、第 x0x_0 列的元素。之所以要这样写,是因为离散扩散里前向过程必须能在训练时被解析地采样——训练需要一次采样出 xtx_t,而不是模拟 tt 步链条。矩阵指数提供了这个能力:只要 QtQ_t 取一个简单的标量缩放,即 Qt=σ(t) QQ_t = \sigma(t)\, Q,那么 ∫0tQs ds=σˉ(t) Q\int_0^t Q_s\, ds = \bar\sigma(t)\, Q,其中 σˉ(t)=∫0tσ(s) ds\bar\sigma(t) = \int_0^t \sigma(s)\, ds 是”累计噪声量”。于是

qt(xt∣x0)=exp⁡(σˉ(t) Q)xt, x0q_t(x_t \mid x_0) = \exp\left(\bar\sigma(t)\, Q\right)_{x_t,\, x_0}

这样,整条前向过程被压缩成”一个固定矩阵 QQ 乘以一个随时间增长的标量 σˉ(t)\bar\sigma(t)“,训练时只需知道 σˉ(t)\bar\sigma(t) 的值就能算出转移概率。这个设计就是 D3PM 与 MDLM 共用的”累计噪声 + 固定转移矩阵”骨架。

三个由 QQ 决定的设计问题

把前向过程写成这个形式之后,“选什么样的 QQ“成为整个模型设计的核心。D3PM 系统地讨论了三个问题。

第一,QQ 是否让分布收敛到有结构的极限分布。 当 t→∞t \to \infty 时,ptp_t 收敛到 QQ 的稳定分布。这个稳定分布直接决定了采样起点 pTp_T 长什么样:采样从稳定分布里抽一个序列,然后逆着走回来。如果稳定分布是均匀分布(每个 token 等概率出现),那么采样起点就是纯随机 token 序列,模型需要从”毫无信息”的序列里一路生成出有意义的文本;如果稳定分布是”全部为掩码”,那么采样起点就是一个全掩码序列,模型需要从”全部未知”里生成文本。

第二,转移概率矩阵的结构是否允许大 token 词表下的高效计算。 语言模型的词表 KK 通常在 3 万到 5 万之间(GPT-2 是 50257)。QQ 的完整形状是 K×KK \times K,即 50k × 50k ≈ 25 亿个元素。如果按 float32 存储,单是这一个矩阵就需要约 10 GB 显存,而且训练时每个 batch 都要对每个位置乘一次,计算量也完全不可接受。这是 SEDD 论文里明确提到的障碍——完整的 QQ 矩阵”在 GPU 上需要约 20 GB 内存,而且访问速度极慢”。所以实际能用的 QQ 必须具有特殊结构,让矩阵指数、前向采样和逆过程速率都能以线性或近线性的代价算出来。

第三,逆过程的速率能否被”逐位置”地表达。 逆过程的速率矩阵 Qˉt\bar Q_t 里面包含 pt(y)/pt(x)p_t(y)/p_t(x) 这样的比值,而真实的数据分布 ptp_t 是未知的。如果逆过程只需要建模”相邻位置的比值”(也就是只差一个 token 的两个序列之间的概率比),那么神经网络就只需要输出一个 KK 维的向量(对每个位置,给出它变成每个其他 token 的概率比),而不是一个指数级大的矩阵。这个性质对能否训练至关重要。

前向采样的”跳转次数”视角

除了用矩阵指数采样,D3PM 还给出了一个更符合直觉的前向采样方式。在 CTMC 里,每个位置在时间 tt 之前发生跳转的次数服从 Poisson(σˉ(t))\text{Poisson}(\bar\sigma(t)) 分布(当 QQ 的每个非对角元素都相等时);更一般地,前向采样可以等价描述为”随机决定每个位置是否发生跳转,若是则根据跳转方向分布抽一个目标 token”。这个视角在 D3PM 论文里给出的两个标准 QQ 上尤其清晰:

D3PM 中均匀态与吸收态前向过程对文本的破坏效果对比

上图来自 D3PM 论文(Austin 等,2021),展示了同一个句子在两种前向过程下的破坏轨迹。上半部分(a)是吸收态掩码:随着步数增加,越来越多的 token 变成 [MASK],原 token 被彻底抹掉。下半部分(b)是均匀态扩散(uniform diffusion):每个 token 以某个概率被替换成词表里均匀随机抽取的另一个 token;早期步数(10、20 步)还能看到部分语义,到第 25 步时整个句子已经变成一串毫无关联的随机词。注意这个图揭示了一件重要的事:吸收态扩散在”部分破坏”阶段保留了句子的骨架,而均匀态扩散在第 10 步就已经把句子改得面目全非——这是后面”均匀态似然为什么会差”的一个直观伏笔。

下面这张图展示了 D3PM 论文用来总览整个框架的示意图:

D3PM 三种转移矩阵的前向与反向过程示意

这张图把同一份数据(t=0 时的一行样本)在三种前向过程下分别推到 t=T/2t=T/2 或 t=Tt=T 的结果并排摆放,从左到右依次是 uniform(均匀态)、Gaussian(高斯离散化,把离散 token 当作序数、对其加高斯噪声后量化)、absorbing(吸收态掩码)。图下方的两个箭头块分别对应前向速率 q(xt∣xt−1)q(x_t \mid x_{t-1}) 和逆过程概率 pθ(xt−1∣xt)p_\theta(x_{t-1} \mid x_t);最右侧一列标着 “t=T (stationary)“,表示三种过程在无穷远处分别收敛到均匀分布、高斯分布和全掩码分布。这个并排对比很有信息量:它表明 D3PM 并不是发明某种特定扩散,而是提供了一个”框架”,其中吸收态只是其中一个参数点。同一套逆过程训练算法,换一个 QQ 就能得到一种完全不同的扩散模型;这也是 D3PM 论文标题里 “Structured” 的来源。

两个标准矩阵:均匀态与吸收态

D3PM 论文重点使用两个 QQ 矩阵,它们分别代表”最无序”和”最有序”的两个极端。按本文的列和约定(矩阵 QQ 的第 jj 列表示”从 jj 出发的速率”;D3PM 论文用行向量约定,这里的矩阵是论文矩阵的转置),它们写为:

Quniform=(−K−1K1K⋯1K1K−K−1K⋯1K⋮⋮⋱⋮1K1K⋯−K−1K)Q^{\text{uniform}} = \begin{pmatrix} -\frac{K-1}{K} & \frac{1}{K} & \cdots & \frac{1}{K} \\ \frac{1}{K} & -\frac{K-1}{K} & \cdots & \frac{1}{K} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{1}{K} & \frac{1}{K} & \cdots & -\frac{K-1}{K} \end{pmatrix}Qabsorb=(−10⋯000−1⋯00⋮⋮⋱⋮⋮00⋯−1011⋯10)Q^{\text{absorb}} = \begin{pmatrix} -1 & 0 & \cdots & 0 & 0 \\ 0 & -1 & \cdots & 0 & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & -1 & 0 \\ 1 & 1 & \cdots & 1 & 0 \end{pmatrix}

均匀态矩阵的含义是:任何 token 跳到任何其他 token 的速率都是 1/K1/K,停留的速率为 −(K−1)/K-(K-1)/K(保持列和为 0)。这里用的是”速率已归一化”的写法;SEDD 论文正文为了书写方便显示的是未归一化版本(对角线 1−K1-K、非对角 11),代码与本文采用归一化版本,整体缩放因子会被噪声日程吸收,两者等价。它对应的稳态分布是均匀分布。吸收态矩阵的含义是:任何 token 跳到 [MASK](第 KK 行)的速率都是 1,从 [MASK] 出发的速率全为 0(一旦进入掩码就再也出不去)。它对应的稳态分布是”全为 [MASK]”。

两种矩阵都用上了”所有非对角元素相等”这个结构,因此转移概率可以解析地算出来。对于均匀态,走完累计噪声 σˉ\bar\sigma 之后:

qt(y∣x0)={e−σˉ+1−e−σˉK,y=x01−e−σˉK,y≠x0q_t(y \mid x_0) = \begin{cases} e^{-\bar\sigma} + \dfrac{1 - e^{-\bar\sigma}}{K}, & y = x_0 \\ \dfrac{1 - e^{-\bar\sigma}}{K}, & y \neq x_0 \end{cases}

可以这样读这个式子:e−σˉe^{-\bar\sigma} 是”从头到尾一次都没有跳”的概率;1−e−σˉ1-e^{-\bar\sigma} 是”至少跳过一次”的概率,这部分的落点在 KK 个 token 上均匀分布,所以每个 token(包括原 token)各分到 (1−e−σˉ)/K(1-e^{-\bar\sigma})/K。两项相加就是原 token 的保留概率。这个式子可以用一维的 ODE 来验证。设 pholdp_{\text{hold}} 为”仍为原 token”的概率:离开原 token 的总速率是 (K−1)/K(K-1)/K,而从其他 token 跳回原 token 的速率是 1/K1/K,于是 dphold/dσˉ=−phold+1/Kd p_{\text{hold}}/d\bar\sigma = -p_{\text{hold}} + 1/K。解这个方程(初值 phold(0)=1p_{\text{hold}}(0)=1)得到 phold=e−σˉ+(1−e−σˉ)/Kp_{\text{hold}} = e^{-\bar\sigma} + (1-e^{-\bar\sigma})/K,正好是上面的式子。

对于吸收态:

qt(y∣x0)={e−σˉ,y=x01−e−σˉ,y=[MASK]0,其他q_t(y \mid x_0) = \begin{cases} e^{-\bar\sigma}, & y = x_0 \\ 1 - e^{-\bar\sigma}, & y = \texttt{[MASK]} \\ 0, & \text{其他} \end{cases}

也就是每个位置以 1−e−σˉ1 - e^{-\bar\sigma} 的概率被掩掉,且一旦被掩掉就永远保持掩码。这两个式子正是第(二)篇里吸收态扩散的前向分布——现在它不再是一个单独的定义,而是 QabsorbQ^{\text{absorb}} 加矩阵指数的一个特例。

为什么吸收态成了主流:后验的”点质量”性质

D3PM 框架真正让吸收态扩散胜出的,不是前向过程的简洁,而是后验的结构。逆过程在采样时需要的不是 qt(xt∣x0)q_t(x_t \mid x_0),而是”给定当前状态 xtx_t 和数据 x0x_0,前一时刻 xsx_s 的分布” q(xs∣xt,x0)q(x_s \mid x_t, x_0)。对于吸收态,这个后验有一个极其方便的性质:

  • 如果 xtx_t 处不是掩码,说明这个位置从未被掩掉过,那么 xsx_s 必然也等于 xtx_t(因为掩码是吸收的,没有被掩的前提是整条链路都没被掩)。后验是点质量。
  • 如果 xtx_t 处是掩码,那么 xsx_s 可能也已经是掩码(更早被掩),也可能还是原值 x0x_0(就是在 ss 到 tt 之间被掩的)。后验只有这两种可能。

这带来两个工程上的直接收益。第一,逆过程训练时的损失只作用在”当前是掩码”的位置上,其余位置对损失没有贡献——这就是 MDLM 里常见的”对掩码位置求交叉熵平均”的写法。第二,采样时一旦某个位置被模型猜出了值,它就永远不再变化(模型只会在掩码位置采样),这保证了采样过程的单调性,块并行解码可以一次性提交一批高置信度的位置,而不必担心它们后面又被改掉。这套东西正是 dLLM 推理系统(比如 Fast-dLLM、dInfer)能够建立”块内并行、块间提交”结构的前提,具体可以参考 扩散模型从零讲起(二):掩码离散扩散 和 扩散模型从零讲起(三):dLLM 推理系统。

均匀态扩散没有这个性质。在均匀态下,一个位置随时可能被改成任何 token,而且被改过之后还可能再被改回来。后验 q(xs∣xt,x0)q(x_s \mid x_t, x_0) 对几乎所有的 xsx_s 取值都有非零概率,因为”从 x0x_0 跳到 xsx_s 再跳到 xtx_t“的路径总是存在的。这意味着模型必须在每个位置、每一步都考虑”这个位置当前值是原值还是已被改过,如果被改过,改了几次”——状态空间不再单调,训练难度的增加不是一点点。

D3PM 的逆过程与损失

D3PM 的逆过程沿用 DDPM 的思路,直接建模相邻两步的逆转移概率 pθ(xt−1∣xt)p_\theta(x_{t-1} \mid x_t),用它与真实后验 q(xt−1∣xt,x0)q(x_{t-1} \mid x_t, x_0) 的 KL 散度作为每一项:

Lvb=Eq[DKL(q(xT∣x0) ∥ pθ(xT))−log⁡pθ(x0∣x1)+∑t=2TDKL(q(xt−1∣xt,x0) ∥ pθ(xt−1∣xt))]L_{\text{vb}} = \mathbb{E}_q\left[ D_{\text{KL}}\big(q(x_T \mid x_0) \,\|\, p_\theta(x_T)\big) - \log p_\theta(x_0 \mid x_1) + \sum_{t=2}^{T} D_{\text{KL}}\big(q(x_{t-1} \mid x_t, x_0) \,\|\, p_\theta(x_{t-1} \mid x_t)\big) \right]

因为前向过程在位置之间独立,DKLD_{\text{KL}} 可以逐位置相加。而真实后验用贝叶斯法则可以写成闭式。论文在行向量约定下给出的形式是:

q(xt−1∣xt,x0)=Cat(xt−1; p=xtQt⊤⊙x0Qˉt−1x0Qˉtxt⊤)q(x_{t-1} \mid x_t, x_0) = \mathrm{Cat}\left(x_{t-1};\ p = \frac{x_t Q_t^\top \odot x_0 \bar Q_{t-1}}{x_0 \bar Q_t x_t^\top}\right)

其中 xt,x0x_t, x_0 是 one-hot 行向量,Qˉt=Q1Q2⋯Qt\bar Q_t = Q_1 Q_2 \cdots Q_t 是累计转移矩阵,⊙\odot 是逐元素乘积。这个式子对任意结构化的 QQ 都成立,是 D3PM 能覆盖均匀态、吸收态、离散高斯等不同前向过程的原因。

直接预测 pθ(xt−1∣xt)p_\theta(x_{t-1} \mid x_t) 的 logits 在理论上可行,但很难保证学到的分布尊重 QQ 的稀疏结构——因为 q(xt−1∣xt,x0)q(x_{t-1} \mid x_t, x_0) 里含有 x0x_0 这个未知量,模型没有显式的机制去利用它。D3PM 采取的做法是改为预测 x0x_0:让网络输出 p~θ(x0∣xt)\tilde p_\theta(x_0 \mid x_t)(去噪器,denoiser),再把它代入上面的贝叶斯公式,得到

pθ(xt−1∣xt)=∑x0q(xt−1∣xt,x0) p~θ(x0∣xt)p_\theta(x_{t-1} \mid x_t) = \sum_{x_0} q(x_{t-1} \mid x_t, x_0)\ \tilde p_\theta(x_0 \mid x_t)

也就是说,“先估 x0x_0,再从 x0x_0 推 xt−1x_{t-1}“。这个参数化有两个好性质:第一,p~θ(x0∣xt)\tilde p_\theta(x_0 \mid x_t) 的全部质量放在 x0x_0 上时,每一项 KL 正好为 0;第二,QQ 的稀疏模式自动传递给逆过程——模型只在 QQ 允许的转移方向上有质量。

在变分下界之外,D3PM 还加了一项辅助的去噪目标,它恰好在 t=1t = 1 时等于 LvbL_{\text{vb}} 里的 −log⁡pθ(x0∣x1)-\log p_\theta(x_0 \mid x_1) 项,最终损失是:

Lλ=Lvb+λ⋅Eq(x0)Eq(xt∣x0)[−log⁡p~θ(x0∣xt)]L_\lambda = L_{\text{vb}} + \lambda \cdot \mathbb{E}_{q(x_0)}\mathbb{E}_{q(x_t \mid x_0)} \left[ - \log \tilde p_\theta(x_0 \mid x_t) \right]

λ\lambda 控制”辅助项”占了多大比例,论文说这一项让训练更直接地盯住”预测原 token 的能力”,从而提升了图像样本的质量。

这套”先学去噪器、再由去噪器推逆过程”的路线,是 D3PM 的核心局限所在。SEDD 论文在 “Mean Prediction” 小节里对它的批评很具体:去噪器学的是一个概率密度,而逆过程真正需要的只是相邻状态之间的比值;密度比比值多承担了一层未知的归一化,学起来更难。另外,D3PM 的损失每一项都绑定在离散时间步上,要推向连续时间极限就必须做近似,而连续时间正是后来高效采样(DDIM、τ-leaping、任意步数)的基础。一旦要在连续时间里表达逆过程,就必须回到”直接学比值”的路线——而这条路线需要的正确损失,恰好就是下面要讲的分数熵。

D3PM 的 x0x_0 参数化是它和 SEDD 最大的分野:D3PM 的每个位置输出一个 KK 类分布,损失是在 x0x_0 空间上取交叉熵;SEDD 的输出是每个位置的 KK 个正比值,损失直接在比值空间上定义。前者让模型必须同时承担”分类”与”归一化”两件事,后者把归一化从模型中拿掉(比值不需要求和为 1),只留下”相对大小”。这也解释了为什么 D3PM 的均匀态版本在似然上明显不如吸收态:均匀态的逆过程是稠密的,x0x_0 参数化必须为每个位置的所有可能转移都给出一个概率;吸收态只需要在”掩码位置”上做分类,假设空间小得多。

第二部分:SEDD 的分数熵

问题:逆过程要学的是”比”,不是”值”

SEDD 的出发点是一个非常基本的观察:离散扩散的逆过程根本不需要知道 pt(x)p_t(x) 的绝对值,只需要知道相邻状态之间的比值 pt(y)/pt(x)p_t(y)/p_t(x)。原因在逆过程的速率矩阵里——逆过程速率 Qˉt(y,x)=pt(y)pt(x)Qt(x,y)\bar Q_t(y, x) = \frac{p_t(y)}{p_t(x)} Q_t(x, y),这个式子里 ptp_t 只以比值形式出现,绝对值在分子分母上抵消了。

SEDD 把这一组比值称为具体分数(concrete score),它被定义为:

s(x,t)≈[pt(y)pt(x)]y≠xs(x, t) \approx \left[ \frac{p_t(y)}{p_t(x)} \right]_{y \neq x}

写成向量形式,就是”对于每一个 y≠xy \neq x,从 xx 到 yy 的比值是多少”。类比连续扩散里的分数函数 ∇xlog⁡pt\nabla_x \log p_t——连续情形下,“分数”是概率对数的梯度,描述的是”往哪个方向移动能增加概率密度”;离散情形下,状态之间没有连续导数,于是”梯度”就用 f(y)−f(x)f(y) - f(x) 来定义(这是离散结构上的图梯度),而 ∇p(x→y)/p(x)=p(y)/p(x)−1\nabla p(x \to y)/p(x) = p(y)/p(x) - 1 这个”归一化梯度”正是具体分数的来源。所以具体分数是连续分数的离散自然推广:它衡量的是”从 xx 改到一个相邻的 yy,概率会变成多少倍”。

问题在于,连续分数匹配(score matching)之所以好用,是因为它有一个漂亮的 Fisher 散度目标:12E[∣∣sθ−∇log⁡p∣∣2]\frac{1}{2}\mathbb{E}[||s_\theta - \nabla \log p||^2]。离散情形下,如果直接照搬这个平方误差,得到的是具体分数匹配(concrete score matching,CSM):

LCSM=12Ex∼pt[∑y≠x(sθ(x,t)y−pt(y)pt(x))2]\mathcal{L}_{\text{CSM}} = \frac{1}{2}\mathbb{E}_{x \sim p_t}\left[\sum_{y \neq x}\left(s_\theta(x, t)_y - \frac{p_t(y)}{p_t(x)}\right)^2\right]

这个损失看起来没问题,但 SEDD 做了个消融实验,发现它根本训不起来——GPT-2 规模的实验里,把它换回来后训练明显失败,等效困惑度(perplexity)高出一万倍。为什么?根源在于平方误差对”比值必须为正”这件事完全没有约束。pt(y)/pt(x)p_t(y)/p_t(x) 永远是正数,但平方误差对负值的 s^\hat s 的惩罚和对正值一样——甚至更差的情况是,模型学出一个接近 0 的 s^\hat s,平方误差的梯度也接近 0,于是模型就停在”输出 0”这个局部最优上,而真值是一个很大的正数。数值上,pt(y)/pt(x)p_t(y)/p_t(x) 的取值范围跨度极大(相邻两步之间可能是 0.999,也可能是 10410^4),平方误差对这两端的权重完全不对等:梯度会被大比值主导,模型要么爆炸,要么塌缩。

分数熵的定义:用 Bregman 散度替换平方

SEDD 的解法是换一个”距离”。它不再用平方误差,而是用两个正数之间的Bregman 散度:

LSE=Ex∼p[∑y≠xwxy(sθ(x)y−p(y)p(x)log⁡sθ(x)y+K(p(y)p(x)))]\mathcal{L}_{\text{SE}} = \mathbb{E}_{x \sim p}\left[\sum_{y \neq x} w_{xy}\left(s_\theta(x)_y - \frac{p(y)}{p(x)}\log s_\theta(x)_y + K\left(\frac{p(y)}{p(x)}\right)\right)\right]

其中 K(a)=a(log⁡a−1)K(a) = a(\log a - 1) 是与 sθs_\theta 无关的常数项(保证损失在最优解处为 0),wxy≥0w_{xy} \geq 0 是权重。逐项来看:

  • 第一项 sθ(x)ys_\theta(x)_y 是线性项,惩罚”预测值过大”;
  • 第二项 −p(y)p(x)log⁡sθ(x)y-\frac{p(y)}{p(x)} \log s_\theta(x)_y 是 −alog⁡b-a \log b 形式,惩罚”预测值过小”;
  • 第三项 K(p(y)p(x))K\left(\frac{p(y)}{p(x)}\right) 只与真值有关,训练时是常数,保留它是为了让损失非负,并且保证在 sθ(x)y=p(y)/p(x)s_\theta(x)_y = p(y)/p(x) 时损失恰好为 0。

这个形式是什么?它正是广义 KL 散度(generalized KL divergence)D(a ∥ s)=alog⁡(a/s)−a+sD(a \,\|\, s) = a\log(a/s) - a + s,也是凸函数 F(u)=ulog⁡u−uF(u) = u\log u - u 的 Bregman 散度 DF(a,s)=F(a)−F(s)−F′(s)(a−s)D_F(a, s) = F(a) - F(s) - F'(s)(a-s):把 a=p(y)/p(x)a = p(y)/p(x)、s=sθ(x)ys = s_\theta(x)_y 代入并展开,恰好得到上面的三项式(与 sθs_\theta 无关的常数归入 K(a)K(a))。Bregman 散度衡量的是”凸函数在目标点处的切线,与函数在预测点处的实际值之差”;FF 的严格凸性保证散度在 a≠sa \neq s 时为正、在 a=sa = s 时为零。更关键的是,FF 的定义域天然就是正实数——这正好是”比值必须为正”这个约束。当模型输出一个负数或接近 0 的值时,损失会以 log⁡\log 的形式惩罚它,梯度会趋于无穷,形成一个对数障碍(log-barrier),把预测值推出负值区域。论文里把它归结为一句:“梯度信号中带有一个因子 1/sθ(x)y1/s_\theta(x)_y,这相当于一种自然的对数归一化。“这就是为什么分数熵能训起来,而具体分数匹配不能。

名字叫”分数熵”还有一个更深的理由:当 sθs_\theta 和 aa 都被约束为”在词表上求和等于 1”的概率分布时(忽略 y=xy=x 这一项,因为它的比值为 1、对梯度没有贡献),三项式恰好退化成 KL 散度(交叉熵减去熵)。所以分数熵是交叉熵向”任意正数”的推广——这正是论文里称它”generalizes standard cross entropy to general positive values (instead of simplex-valued probabilities)“的含义。

为什么可以只算”去噪”形式

分数熵的定义式里,期望是对 x∼px \sim p 取的,求和是对所有 y≠xy \neq x 进行的。如果真按定义算,问题不在”每个 xx 有 d(K−1)d(K-1) 个邻居”——这个数量本身还能接受——而在于 xx 的取值空间是 KdK^d:要对所有可能的序列求期望,代价是 Kd⋅dKK^d \cdot dK,这才是不可行的部分。去噪形式把这个期望换成对 (x0,xt)(x_0, x_t) 的采样:每个训练样本只采样一个 x0x_0、一个 tt、一个 xtx_t,再对 xtx_t 的 d(K−1)d(K-1) 个邻居算一次比值,代价就回到了”一次网络前向 + 一个 d×Kd \times K 的输出”。

SEDD 用了一个和连续扩散里”去噪分数匹配”(denoising score matching)一样的技巧:把对真实分布 pp 的期望,改写成对”从 x0x_0 出发的扰动分布”的期望。关键在于——如果 p(x)=∑x0p(x∣x0)p0(x0)p(x) = \sum_{x_0} p(x \mid x_0) p_0(x_0),那么分数熵(差一个与 sθs_\theta 无关的常数)等于:

LDSE=Ex0∼p0, x∼p(⋅∣x0)[∑y≠xwxy(sθ(x)y−p(y∣x0)p(x∣x0)log⁡sθ(x)y)]\mathcal{L}_{\text{DSE}} = \mathbb{E}_{x_0 \sim p_0,\ x \sim p(\cdot \mid x_0)}\left[\sum_{y \neq x} w_{xy}\left(s_\theta(x)_y - \frac{p(y \mid x_0)}{p(x \mid x_0)} \log s_\theta(x)_y\right)\right]

这个式子的神奇之处在于:里面的”真值比值”变成了 p(y∣x0)/p(x∣x0)p(y \mid x_0)/p(x \mid x_0),而 p(⋅∣x0)p(\cdot \mid x_0) 是前向过程的条件分布——它是可以解析计算的。只要在前向过程里采样出一个 xtx_t,就能算出从 x0x_0 跳到 xtx_t 和从 x0x_0 跳到任意邻居 yy 的概率比,进而得到损失。训练时只需要采样一个 x0x_0、一个时间 tt、一个扰动后的 xtx_t,就能算损失。

更深一层的结构是:因为前向过程在位置之间独立(每个 token 各自独立加噪),所以 p(⋅∣x0)p(\cdot \mid x_0) 可以拆成 ∏ip(xi∣x0i)\prod_i p(x^i \mid x_0^i),相邻状态(只改一个位置)的比值也就变成单一的 token 级别比值:

pt(y∣x0)pt(x∣x0)=pttok(x^i∣x0i)pttok(xi∣x0i)\frac{p_t(y \mid x_0)}{p_t(x \mid x_0)} = \frac{p_t^{\text{tok}}(\hat{x}^i \mid x_0^i)}{p_t^{\text{tok}}(x^i \mid x_0^i)}

只要 yy 和 xx 只差第 ii 个位置,比值就只跟第 ii 个位置有关。这就是 SEDD 把”指数级的完整 QQ“变成”逐 token 的 QtokQ_{\text{tok}}“的数学依据,也解释了为什么模型输出的形状是 Rd×K\mathbb{R}^{d \times K}——对每个位置输出一个长度为 KK 的比值向量,而不是一个巨大的 Kd×KdK^d \times K^d 矩阵。

前向过程的具体化:两个可用的转移矩阵

把 QQ 具体化之后,SEDD 用的是和 D3PM 一样的两个标准矩阵,但两者的后果不同:

Quniform=(−K−1K1K⋯1K1K−K−1K⋯1K⋮⋮⋱⋮1K1K⋯−K−1K),Qabsorb=(−10⋯000−1⋯00⋮⋮⋱⋮⋮00⋯−1011⋯10)Q^{\text{uniform}} = \begin{pmatrix} -\frac{K-1}{K} & \frac{1}{K} & \cdots & \frac{1}{K} \\ \frac{1}{K} & -\frac{K-1}{K} & \cdots & \frac{1}{K} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{1}{K} & \frac{1}{K} & \cdots & -\frac{K-1}{K} \end{pmatrix}, \quad Q^{\text{absorb}} = \begin{pmatrix} -1 & 0 & \cdots & 0 & 0 \\ 0 & -1 & \cdots & 0 & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & -1 & 0 \\ 1 & 1 & \cdots & 1 & 0 \end{pmatrix}

用累计噪声 σˉ(t)\bar\sigma(t) 表达,单个 token 的前向分布是:

  • 均匀态:pttok(y∣x0i)=1−e−σˉK⋅1(y≠x0i)+(e−σˉ+1−e−σˉK)⋅1(y=x0i)p_t^{\text{tok}}(y|x_0^i) = \frac{1-e^{-\bar\sigma}}{K} \cdot \mathbf{1}(y \neq x_0^i) + \left(e^{-\bar\sigma} + \frac{1-e^{-\bar\sigma}}{K}\right) \cdot \mathbf{1}(y = x_0^i);
  • 吸收态:pttok(y∣x0i)=e−σˉ⋅1(y=x0i)+(1−e−σˉ)⋅1(y=[MASK])p_t^{\text{tok}}(y|x_0^i) = e^{-\bar\sigma} \cdot \mathbf{1}(y = x_0^i) + (1 - e^{-\bar\sigma}) \cdot \mathbf{1}(y = \texttt{[MASK]})。

这两式对训练足够用:给定 x0,xt,tx_0, x_t, t,就能对任意的邻居 yy 算出比值,从而算损失。代码里也确实是这么实现的——sample_transition 用 1−e−σˉ1 - e^{-\bar\sigma} 算出”被改动的概率”,score_entropy 里的 expm1(σ) 与 exp(-σ) 用来计算这些比值。论文还提到,采用”对数线性”(log-linear)的噪声日程——使得”被改动的 token 数”在总噪声 σˉ\bar\sigma 下大致线性增长——对吸收态模型的似然有明显帮助。

顺带说明一下 SEDD 代码里输出的处理方式。模型的最后一层输出的是 logits,get_score_fn 里把输出直接取指数(score.exp()),因此输出的比值是 elogite^{\text{logit}}。这个设计很直接:对数域的线性输出经过指数之后天然是正数,再套用分数熵,梯度里的 1/sθ1/s_\theta 正好把对数域的偏差缩回原来的量级,训练稳定。这也解释了为什么”具体分数匹配”在这种参数化下会失效——平方误差在指数域里对负的 logit 也是”正常梯度”,模型很快塌到输出极大或极小的 logit 上。

第三部分:逆过程的模拟——从 Euler 到 Tweedie τ-leaping

前两部分讲的是”怎么设计前向、怎么训练”。接下来必须讲清逆过程怎么走——这是离散扩散和连续扩散差异最大的地方,也是理解 dLLM 采样器结构的必要背景。

Euler 式逆过程为什么不行

最直接的逆过程模拟方式是完全照搬 D3PM 的欧拉法:把时间轴分成 T/ΔtT/\Delta t 步,每一步都从”前向速率矩阵在相邻时间点的状态转移”里反推一步。具体写出来,逆过程的单步转移概率是:

pt−Δt(y∣xt)=δy,xt+Qt(y,xt) sθ(xt,t)y⋅Δtp_{t-\Delta t}(y \mid x_t) = \delta_{y,x_t} + Q_t(y, x_t)\, s_\theta(x_t, t)_y \cdot \Delta t

其中 δy,xt\delta_{y,x_t} 是 Kronecker delta(y=xty = x_t 时为 1),第一项表示”保持不变”,第二项表示”跳转到 yy“的概率。这个式子在数学上没有问题,但在实现上是灾难性的:它要求采样时”只改一个位置”。为什么?因为 QtQ_t 是一个 Kd×KdK^d \times K^d 的矩阵,非对角元素里绝大多数都是零(只有”恰好差一个位置”的 yy 才有非零速率),而从 xtx_t 出发”恰好只能走到邻居”这件事意味着每一步只能动一个 token。如果序列长度是 1024,那么至少要 1024 步才能把每个位置都改一次;而每一步都要对全序列做一次网络前向,总计算量是 O(L2)O(L^2),比自回归的 O(L)O(L) 步还慢。更糟的是,Euler 还把连续时间切成许多小步,实际步数往往远大于 LL。

τ-leaping(tau-leaping,Gillespie 在 2001 年提出的化学动力学加速方法)就是为了解决这个问题。它的直觉是:化学反应的速率通常比”逐个事件模拟”快得多,与其一步步地模拟每一次分子碰撞,不如直接假设”接下来 Δt\Delta t 时间内发生多少次反应”服从 Poisson 分布,然后一次性跳过多个事件。搬到离散扩散里,就是让每个位置同时、独立地向前跳一次。具体地,给定当前序列 xtx_t,按下面的概率对每个位置 ii 独立采样新 token:

xt−Δti∼pi(⋅∣xti),pi(y∣xti)=δyxti+Δt⋅Qttok(xti,y) sθ(xt,t)i,yx_{t-\Delta t}^i \sim p^i(\cdot \mid x_t^i), \quad p^i(y \mid x_t^i) = \delta_{y x_t^i} + \Delta t \cdot Q_t^{\text{tok}}(x_t^i, y)\, s_\theta(x_t, t)_{i,y}

这样的好处是每一步只计算一次网络输出,就能同时更新所有位置——序列长度变成”一次前向能处理多少 token”的函数,而不是”必须走多少步”的函数。

Tweedie 定理:已知比值时最优的跳转

τ-leaping 虽然可行,但它是”不依赖模型的”——它只是把欧拉法在每个位置上独立化了。SEDD 指出,在已知相邻比值集合的前提下,存在一个更优的跳转规则。这个规则来自连续扩散里著名的 Tweedie 定理:给定当前噪声状态 xtx_t,最优的去噪估计(最小均方误差意义下)是:

E[x0∣xt]=xt+(1−αˉt)∇xtlog⁡pt(xt)αˉt\mathbb{E}[x_0 \mid x_t] = \frac{x_t + (1 - \bar\alpha_t)\nabla_{x_t}\log p_t(x_t)}{\sqrt{\bar\alpha_t}}

在离散情形下,Tweedie 定理有一个完全对应的形式:如果模型能给出”从 xtx_t 到它的任意邻居 yy 的比值”,那么最优的”单步反向跳转”就是:

pt−Δt(y∣xt)∝{sθ(xt,t)y,y≠xt某个归一化后的保持项,y=xtp_{t-\Delta t}(y \mid x_t) \propto \begin{cases} s_\theta(x_t, t)_y, & y \neq x_t \\ \text{某个归一化后的保持项}, & y = x_t \end{cases}

在步长很小、忽略高阶项的极限下,可以粗略理解为:下一步跳到 yy 的概率,正比于模型认为”从 xtx_t 改到 yy 的概率会变成多少倍”。这非常自然——比值越大,说明从 xtx_t 变到 yy 之后”更像数据”,所以应该更倾向于跳过去。

但这里有一个障碍:完整的 Tweedie 反演公式需要”从 xtx_t 到每一个 yy 的比值”,包括与当前状态距离为 2、3 的 yy;而具体分数只学”距离为 1”的邻居,模型也只在距离 1 处有输出。解决思路是:保留 τ-leaping 的”位置独立跳跃”假设,再把 Tweedie 的反演思想放进去,得到”在每个位置独立决定新 token”这一约束下的最优单步转移。修正后的跳转概率是:

pt−Δt(y∣xt)=(exp⁡((σˉ(t−Δt)−σˉ(t)) Q) sθ(xt,t))y⋅exp⁡((σˉ(t)−σˉ(t−Δt)) Q)(xt,y)p_{t-\Delta t}(y \mid x_t) = \left(\exp((\bar\sigma(t-\Delta t) - \bar\sigma(t))\, Q)\, s_\theta(x_t, t)\right)_y \cdot \exp\left((\bar\sigma(t) - \bar\sigma(t-\Delta t))\, Q\right)(x_t, y)

这个式子看起来复杂,但每一项都有明确的含义:

  • 前半段 exp⁡(−Δσˉ Q) sθ\exp(-\Delta\bar\sigma\, Q)\, s_\theta 里,Δσˉ=σˉ(t)−σˉ(t−Δt)>0\Delta\bar\sigma = \bar\sigma(t) - \bar\sigma(t-\Delta t) > 0,作用是用 sθs_\theta 预测的比值”逆着前向过程”走一小步;
  • 后半段 exp⁡(Δσˉ Q)\exp(\Delta\bar\sigma\, Q) 的第 (xt,y)(x_t, y) 个元素,是”从 yy 出发在 Δσˉ\Delta\bar\sigma 时间内恰好走到 xtx_t“的前向概率,相当于”从 yy 往回看一步”;
  • 两者相乘之后取第 yy 项并归一化,就得到了每个位置 ii 上新 token yy 的归一化概率。

SEDD 论文证明了这是所有 τ-leaping 策略中最优的:如果 sθs_\theta 学得完美,那么上面这个跳转规则在所有”位置独立同时跳转”的策略中,对真实后验 pt−Δt∣tp_{t-\Delta t \mid t} 的 KL 散度最小。这个结论对实现有直接意义:在同样的步数下,Tweedie τ-leaping 在 KL 意义下优于纯 Euler 式 τ-leaping,实验上也通常对应更好的采样质量。论文附录 D.2 的采样对比也显示,analytic sampling(Tweedie 方式)整体优于 Euler sampling,尤其对 uniform 模型来说优势更明显。

采样算法与工程细节

SEDD 论文给出的完整采样算法(Algorithm 2)可以概括为:

输入: 网络 s_θ, 噪声日程 σ(t), 累计噪声 σ̄(t), 转移矩阵 Q, 终止时间 T, 步长 Δt
1. t ← T
2. 从稳定分布采样初始 x_T(均匀态从均匀分布采,吸收态全为 [MASK])
3. while t > 0:
a. 用网络计算 s_θ(x_t, t),得到每个位置每个 token 的比值
b. 若使用 Euler: p_i(y | x_t^i) = δ + Δt·Q_tok(y, x_t^i)·s_θ(x_t, t)_{i,y}
若使用 Tweedie: 用上面的修正公式
c. 将 p_i(·) 截断为非负并归一化
d. 对每个位置独立采样 x_{t-Δt}^i
e. t ← t − Δt
4. 返回 x_0

有三个实现上必须注意的点。第一,归一化:无论 Euler 还是 Tweedie,算出来的概率向量在数值上都可能不是和为 1(负数、大于 1 都可能出现),必须截断到非负并重新归一化。这一步在代码里对应”SEDD 的采样函数对输出做 clamp 并 renormalize”。第二,噪声日程的选择:σˉ(t)\bar\sigma(t) 的刻度直接决定了同一 Δt\Delta t 下”平均改几个 token”。如果噪声日程在中间段过于陡峭,那么中间步数时改动的 token 数会过多,采样质量会急剧下降;论文里采用的对数线性日程,让”改动 token 数”随步数匀速增加,是个更稳的选择。第三,网络前向的次数:均匀态和吸收态的区别在这里体现得最明显——吸收态的逆过程每次只会在”被掩码的位置”猜测,所以网络前向的有效位置数随采样进行而减少;而均匀态的逆过程每个位置每步都可能改变,网络前向必须对全序列计算。这直接对应第(八)篇里讲的”dLLM 推理成本结构”:采样步数是影响延迟的主变量,而每个步的成本又取决于”哪些位置还在变”。这一点可以参考 扩散模型从零讲起(八):推理加速工程。

第四部分:两种扩散的似然之差——为什么吸收态在语言建模上占优

到这里,D3PM 和 SEDD 讲清了”框架”和”损失”。但还有一个悬而未决的重要问题:为什么吸收态在语言建模上通常明显好于均匀态?SEDD 论文的实验里,吸收态在 GPT-2 零样本困惑度上压过 GPT-2 一部分任务,而均匀态则明显落后;附录里也直接说”均匀态没有吸收态那种线性可调的权衡曲线,很可能受限于生成质量的瓶颈”。MDLM 那篇工作给出了一个清晰的数学答案,值得在这里补上——因为这是理解”吸收态为什么是 dLLM 的默认选择”的关键。

MDLM(Simple and Effective Masked Diffusion Language Models,Sahoo 等,2024)的核心结论是:在吸收态(纯掩码)扩散下,模型的变分下界(ELBO)可以化简为一个非常直观的形式——对掩码比例加权后的”掩码位置交叉熵”的期望。具体地,定义 αt∈[0,1]\alpha_t \in [0, 1] 为”一个 token 在时刻 tt 仍保留原值的概率”(注意:αt\alpha_t 是保留概率,不是掩码比例;掩码比例是 1−αt1-\alpha_t),α0≈1\alpha_0 \approx 1、α1≈0\alpha_1 \approx 0。连续时间下的负 ELBO 可以写成:

LMDLM=Et∼U[0,1][−α′(t)1−α(t)⋅Ex0, xt[∑i: xti=[MASK]−log⁡pθ(x0i∣xt)]]\mathcal{L}_{\text{MDLM}} = \mathbb{E}_{t \sim U[0,1]}\left[\frac{-\alpha'(t)}{1-\alpha(t)} \cdot \mathbb{E}_{x_0,\ x_t}\left[\sum_{i:\ x_t^i = \text{[MASK]}} - \log p_\theta(x_0^i \mid x_t)\right]\right]

公式里有两层平均:外层对时间 tt 加权,权重 −α′(t)1−α(t)\frac{-\alpha'(t)}{1-\alpha(t)} 是掩码比例 1−αt1-\alpha_t 的对数导数,即 ddtlog⁡(1−αt)\frac{d}{dt}\log(1-\alpha_t);由于 αt\alpha_t 随时间递减,这个权重为正,作用是把不同掩码比例下的损失按 ELBO 的要求重新加权。内层对”当前是掩码的位置”求和——未被掩的位置在 SUBS 参数化下贡献恒为 log⁡1=0\log 1 = 0,所以只需算掩码位置。

这个形式的含义很直接:MDLM 本质上就是把 BERT 的掩码语言建模(MLM)目标,按不同的掩码比例做了一次连续加权。它和 BERT 的区别在于两点:BERT 的掩码比例是固定的(通常 15%),而 MDLM 对所有比例取期望;BERT 的目标是固定概率下的 MLM 损失,而 MDLM 的这个目标是一个变分下界,因此它有严格似然意义。

这层”变分下界”是吸收态相比均匀态的核心优势。均匀态的前向转移矩阵是稠密的——一个 token 可以从任意状态跳到任意其他状态;逆过程的每一项都要在所有位置、所有时间步上对”跳到某个 token”的比值负责,似然下界里的非零项遍布全序列。吸收态的逆过程速率只在”掩码位置 → 某个 token”这一个方向上非零(每个掩码位置有 K−1K-1 个候选 token),而下界里的非零项只出现在掩码位置,每一项对应”把掩码猜回原 token”这一个明确事件,监督信号集中、误差小得多。这就是为什么 MDLM 能用”平均的 MLM 损失”取代复杂的 ELBO。

MDLM 论文图形摘要:平均的掩码损失与连续时间掩码扩散

上图是 MDLM 论文给出的图形摘要。上方写着 “Diffusion Training: Average of unmasking losses”,下方对应 “Expectation over masking rates”,中间一段写着 “Masking rate is random, Objective is a simple average of MLM losses” 与 “Objective is a variational lower bound”——这两句话正是前面公式的口语化表述。图的右下角把 PPL(困惑度)数值放在一个列表里,说明简单的 MDLM 在语言建模上能明显低于之前的扩散模型。这个图给出的信息量在于:吸收态扩散的复杂变分推导,最终化简成了一个可实现的简单目标,而这个化简成立的根源就是吸收态的特殊结构。

把这段和 SEDD 联系起来,可以得到一个完整的图景:D3PM 告诉我们”离散扩散可以有各种转移矩阵”;MDLM 告诉我们”吸收态是其中变分下界最干净的那一个”;SEDD 告诉我们”如果坚持非吸收态,那么训练目标必须是分数熵而不是具体分数匹配,而采样必须用 Tweedie τ-leaping 而不是 Euler”。三者从不同角度指向同一个结论:在语言模型这个任务上,吸收态(或与其相近的”有结构但单向”的转移族)在似然和生成质量上具有结构性优势,而均匀态扩散更多地是一个理论上的对照点。

第五部分:实验上看到了什么

SEDD 论文的实验设计很清晰,值得单独讲,因为它检验的恰好是”分数熵 + Tweedie”这组替换的效果。

设置

模型主干是 DiT(Diffusion Transformer),在标准编码器式 Transformer 上加入时间条件,并做了若干细节修改(例如把位置编码换成 RoPE)。SEDD 训练了两个变体,分别对应均匀态和吸收态两个 QQ 矩阵。时间条件化使得参数比同规模 GPT-2 略多,因此不是完全严格的同参数对比;但论文也报告了模型规模。

零样本困惑度

SEDD 与 GPT-2 的生成困惑度随网络评估次数变化

上图是 SEDD 论文 Figure 1(a):横轴是网络评估次数(即采样步数,从 32 到 2048,对数刻度),纵轴是生成困惑度(用 GPT-2 large 评估生成文本的每 token 困惑度,越低越好),几条折线分别是 SEDD Small/Medium 和 GPT-2 Small/Medium。可以看到两个规律:

  1. 在同一评估次数下,SEDD 的曲线普遍压在 GPT-2 曲线下方。在 32 次评估时,SEDD 已经追平 GPT-2 在”不做温度缩放”时的生成质量;在 2048 次评估时,SEDD 的生成困惑度比 GPT-2 好 6–8 倍。这个对比有一个需要注意的前提:GPT-2 的”每次评估”会通过 KV 缓存只处理新 token,而 SEDD 的”每次评估”要为全序列重新前向,所以”评估次数”本身不完全等价于计算量。SEDD 论文在讨论里明确提到了这点。
  2. 曲线在对数-对数坐标下大致是线性的。这条”可预测的帕累托前沿”意味着:想用更少的步数换更好的质量,只要按曲线往右下移动即可,不存在”某区间里步数增加却毫无收益”的死区。这条曲线是 SEDD 相比之前离散扩散的关键经验结果——之前的模型往往在步数稍多后就饱和。
SEDD 均匀态模型的生成困惑度与采样步数、采样方式的关系

上图是论文附录 Figure 2:均匀态模型的生成困惑度。与吸收态对比,能看到两个现象:第一,均匀态没有吸收态那种漂亮的线性权衡曲线——步数增加后质量会饱和;第二,同样的步数下,Tweedie(analytic)采样明显优于 Euler 采样,这种差距在均匀态上尤其大。这恰好印证了前面”Tweedie τ-leaping 在所有 τ-leaping 策略中最优”的定理——在均匀态上,Euler 式 τ-leaping 只是把每个位置独立地做一阶欧拉更新,没有用上 Tweedie 反演,因此误差被放大得更严重。

论文主表(Table 1)在零样本困惑度上给了具体数字,例如:GPT-2 Small 在 LAMBADA / WikiText2 / PTB / WikiText103 / 1BW 上是 45.04 / 42.43 / 138.43 / 41.60 / 75.20;SEDD 吸收态 Small 是 50.92 / 41.84 / 114.24 / 40.62 / 79.29;SEDD 均匀态 Small 是 65.40 / 50.27 / 140.12 / 49.60 / 101.37。可以看到,吸收态在 WikiText2、PTB、WikiText103 上已经优于 GPT-2,但在 LAMBADA 和 1BW 上落后;均匀态在所有位置上都落后于吸收态和 GPT-2,不过它仍明显好于更早的均匀态扩散模型(D3PM Small 的 LAMBADA 是 93.47,SEDD Uniform Small 是 65.40)。它也不是全面超越以前的扩散工作:PLAID 在 LAMBADA 上是 57.28,仍优于 SEDD Uniform。这个差距在似然上就出现了,说明问题不在采样,而在”学习到的分布”本身——均匀态的条件分布更难被准确建模。

具体分数匹配的消融

论文附录 D.1 报告了一个直接验证”分数熵到底做了什么”的消融:把分数熵替换回具体分数匹配损失,保持同样的缩放,结果训练根本走不下去,似然损失高出许多,等效困惑度高出一万倍。这个消融是全篇最有说服力的证据之一:同样架构、同样前向过程、同样采样器,仅仅换掉损失,模型就无法训练。它把”损失设计”从实现细节上升到了决定成败的位置,也解释了为什么 SEDD 要用 Bregman 散度而不用 Fisher 散度。

条件生成与填充

SEDD 的另一个卖点是任意位置的条件生成,它有清楚的数学来源。要算”给定已填充位置 Ω‾\overline\Omega 取值为 yy、其余位置(Ω\Omega)的分布”,需要的是条件比值:

pt(xΩ=z′∣xΩ‾=y)pt(xΩ=z∣xΩ‾=y)=pt(x=z′⊕Ωy)pt(x=z⊕Ωy)\frac{p_t(\mathbf{x}^{\Omega} = \mathbf{z}' \mid \mathbf{x}^{\overline\Omega} = \mathbf{y})}{p_t(\mathbf{x}^{\Omega} = \mathbf{z} \mid \mathbf{x}^{\overline\Omega} = \mathbf{y})} = \frac{p_t(\mathbf{x} = \mathbf{z}' \oplus_{\Omega} \mathbf{y})}{p_t(\mathbf{x} = \mathbf{z} \oplus_{\Omega} \mathbf{y})}

这里 ⊕Ω\oplus_{\Omega} 表示”在位置集合 Ω\Omega 上用新值、在 Ω‾\overline\Omega 上保持 yy“的拼接操作。等号右边只有无条件比值——这正是模型训练时学的东西。所以条件生成不需要重新训练:把已填充位置固定住、只让未填充位置参与 τ-leaping 更新即可。这个性质直接带来”提示词可以放在序列开头、结尾、中间,甚至分成两段”的能力,因为被固定的位置集合可以是任意形状。论文用 MAUVE 分数评估了条件生成,SEDD 在标准提示下超过了 GPT-2 和 SSD-LM,并且不需要 GPT-2 的核采样(nucleus sampling)或扩散模型的分布阈值化(thresholding)这类分布退火手段。这一点的重要性在于:分布退火本质上是在”采样结束之后”人为修正质量,而 SEDD 证明了好的损失设计可以让模型在”不做任何修正”的情况下输出高质量的样本。

第六部分:对 dLLM 推理系统的意义

前面的分析落到推理系统上,有几点是直接的:

第一,前向矩阵的选择决定缓存失效粒度。 在吸收态里,一个 token 一旦”被猜出”,就永远不再变化,因此 KV 缓存只需要在”仍为掩码的位置”上失效;在均匀态里,任何位置任何一步都可能变化,所以旧步的 KV 缓存几乎全部不可信,缓存复用空间要小得多。这就是 扩散模型从零讲起(三):dLLM 推理系统 里”按掩码位置失效、块间提交”这套结构能在吸收态上成立的根本原因;均匀态下不存在”已确定”这个状态,同一套结构不能直接搬过去。SEDD 的 Tweedie τ-leaping 虽然能从理论上保证最优,但”所有位置每步都可能变”的特性在工程上意味着每次都要对全序列重算——它在推理成本上的劣势是结构性的,不只是实现问题。

第二,采样步数和单步成本是两笔独立的账。 SEDD 的实验表明 SEDD 可以用 32 次网络评估达到 GPT-2 的质量,但每个”步”都是全序列前向;而吸收态扩散的块并行可以让每个”步”只处理”尚未确定的块”,两者在不同的延迟曲线上。比较两类扩散的推理效率时,必须同时看”步数”和”单步要处理多少 token”这两个相乘的因子,不能只看步数。这一点可以对照 扩散模型从零讲起(一):从 DDPM 的加噪/去噪到 DiT 与 Flow Matching 里关于 DiT 主干成本的分析。

第三,输出形状相同不等于缓存语义相同。 SEDD 的模型输出是 d×Kd \times K 的逐位置比值矩阵,与吸收态 dLLM 的”逐位置 logits”形状相同,主干可以复用同一套 Transformer/DiT 实现;但缓存语义完全不同。吸收态的缓存可以按”位置是否已被确定”做精确的块级提交,均匀态没有这个单调边界,任何位置在下一步都可能被改写,旧 KV 只能按”变化概率很低”做近似复用(例如跳步缓存或按噪声日程截断),而不是精确复用。这意味着两类模型在系统层的优化空间不同:吸收态可以设计”提交-缓存-复用”的确定性流水线,均匀态只能设计”近似缓存 + 误差控制”的流水线。把 SEDD 部署成生产服务时,调度器需要把这两层分开考虑,不能直接套用吸收态 dLLM 的块并行实现。

第四,似然是 dLLM 评测的标准问题。 SEDD 和 MDLM 都把”似然下界”作为核心指标,因为语言模型的困惑度是一个能被严格比较的量。对于 dLLM 服务,似然下界提供了一种离线评估方法:给定一个提示词和一段正文,算出模型在这段正文上的条件似然,从而判断”这个模型的采样器是不是把大部分概率质量放在了错误的位置”。这套评估思路与第(八)篇里”推理加速不能只是让模型更快、还要确保它采样到正确的地方”的问题直接相关,可以参考 扩散模型从零讲起(八):推理加速工程——跨步缓存、并行采样与 4-bit 量化。

小结

本文把离散扩散的”另一条路”讲完了。回头梳理一下主线:

  1. D3PM 把离散扩散写成转移矩阵框架。前向过程是 dpt/dt=Qtptdp_t/dt = Q_t p_t,解是矩阵指数;吸收态和均匀态只是 QQ 的两个参数点。选 QQ 有三个考量:稳定分布、可计算的代价、逆过程能否逐位置表达。
  2. 吸收态胜出靠的是后验的点质量性质。未被掩的位置不会变,后验只有”还是原值”或”已变掩码”两种可能,从而带来损失只作用在掩码位置、采样单调、块并行可提交这三个工程红利。均匀态不具备这种单调性。
  3. SEDD 的出发点是”逆过程只需要比值”。具体分数 s(x)y≈pt(y)/pt(x)s(x)_y \approx p_t(y)/p_t(x) 是连续分数的自然推广;分数熵用 Bregman 散度替换 Fisher 散度,通过 1/s1/s 梯度和对数障碍,解决了具体分数匹配”训不起来”的问题。
  4. 去噪分数熵让训练可行,逐 token 的转移矩阵把 K×KK \times K 的稠密矩阵变成 d×Kd \times K 的输出。
  5. Tweedie τ-leaping 是最优的逆过程策略:在所有”位置独立同时跳转”的模拟方式中,它的单步转移与真实后验的 KL 最小;Euler τ-leaping 是忽略 Tweedie 校正后的简化版本。
  6. 吸收态的似然优势有理论解释:MDLM 把吸收态 ELBO 化简为”对掩码比例的加权期望 + 掩码位置的交叉熵”,本质上是按比例加权的掩码语言建模;而均匀态的稠密逆过程对应的下界里充满难以准确估计的项。
  7. 实验上,同评估次数下 SEDD 的生成困惑度低于 GPT-2,且曲线可预测;均匀态没有类似曲线,而在消融中,具体分数匹配让等效困惑度高出一万倍,证明损失设计是决定性的。
  8. 对推理系统,转移矩阵的选择决定了缓存失效的粒度,采样步数与单步成本必须分开记账,似然下界提供了一种可离线使用的 dLLM 评测手段。

一个值得记住的区别是:吸收态扩散的主线是”结构”——把前向过程限制到单向的掩码转移,换取采样的单调性和训练的简洁;SEDD 的主线是”目标”——在前向过程不变的情况下,把损失设计到与比值空间几何相容。 前者偏工程,后者偏数学,而两者共同回答的是同一个问题:在离散状态空间里,“扩散”究竟应该长什么样。

至此,从 DDPM 的连续链到 D3PM/SEDD 的离散链、从 DiT 主干到 τ-leaping 采样器、从 dLLM 推理系统到似然评测,“扩散模型从零讲起”这条基础主线已经连成一条完整的线。再往下的内容——具体模型的训练配方、特定硬件上的 kernel 实现、生产级调度策略——更多属于系统与工程取舍,而不是新的基础机制。

参考资料

  1. D3PM: Structured Denoising Diffusion Models in Discrete State-Spaces(Austin 等, NeurIPS 2021)
  2. D3PM 官方代码库(google-research/d3pm)
  3. Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution(SEDD, Lou 等, ICML 2024)
  4. SEDD 官方代码库(louaaron/Score-Entropy-Discrete-Diffusion)
  5. Simple and Effective Masked Diffusion Language Models(Sahoo 等)
  6. Concrete Score Matching: Generalized Score Matching for Discrete Data(Meng 等, NeurIPS 2022)
  7. Denoising Diffusion Probabilistic Models(Ho 等, 2020)
  8. Generative Modeling by Estimating Gradients of the Data Distribution(Song & Ermon, 2019)

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

扩散模型从零讲起(十七):非吸收态离散扩散——D3PM 的转移矩阵与 SEDD 的分数熵
https://pinghaoyang.com.cn/articles/insights/posts/discrete-diffusion-score-entropy/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录