文生图扩散模型入门:潜空间压缩、去噪主干、文本条件与采样链路的完整架构

12812 字
64 分钟
文生图扩散模型入门:潜空间压缩、去噪主干、文本条件与采样链路的完整架构

文生图是当前多模态生成里最成熟、工业部署最广泛的一类能力。给定一句文本描述,模型要输出一张与描述一致、结构合理的图像。主流方案几乎都是扩散模型(Diffusion Model):先构造一条从真实图像到纯噪声的「加噪链」,再训练一个网络学会沿这条链反向走回去,最后用文本条件把学到的方向「扭」向用户想要的那张图。

2022 年 8 月 Stability AI 发布的 Stable Diffusion 是这条路线第一次进入大众视野的落地形态,它的核心是把扩散过程从像素空间搬进 VAE 压缩出来的潜空间;同年 12 月 Peebles 与 Xie 提出的 DiT(Diffusion Transformer)又把去噪主干从卷积 U-Net 换成了 Transformer。此后的大部分文生图模型,都是在这两块地基上继续加条件、加规模、加加速手段。

这篇文章只讲这类模型最基本的架构骨架,不追某一版本的工程细节。全文围绕五个组件展开:把图像压进潜空间的 VAE、负责去噪的主干网络、把文本变成可注入条件的文本编码器、让主干「听懂」文本的条件注入机制,以及把训练好的去噪器变成采样器的 DDIM 与无分类器引导。最后把所有组件串成一条可运行的推理链路,并说明每一步在工程上意味着什么。

生成问题的基本形状

一句话概括扩散模型

扩散模型的出发点是一个很朴素的观察:真实图像的分布 q(x0)q(x_0) 极其复杂,写不出概率密度,但「往图像里加高斯噪声」这个操作很简单,而且有闭式解。于是可以构造一条固定的前向加噪链,把一张训练图像一步步变成接近纯噪声的样本:

xt=αˉt x0+1−αˉt ϵ,ϵ∼N(0,I)x_t = \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1-\bar\alpha_t}\, \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)

其中 x0x_0 是真实图像(像素或潜变量均可),xtx_t 是在时间步 tt 被加噪后的版本,ϵ\epsilon 是标准高斯噪声,αˉt=∏s=1tαs\bar\alpha_t = \prod_{s=1}^{t}\alpha_s 是累积的保留系数,αs\alpha_s 由噪声日程(noise schedule)决定,最常见的做法是余弦日程或线性 β\beta 日程,其中 βs=1−αs\beta_s = 1-\alpha_s 是每一步注入的噪声比例。

这条公式之所以是扩散模型的地基,是因为它允许训练时直接跳到任意时间步:不需要一步步加噪到底,给定 x0x_0、随机抽一个 tt 和一份噪声,就能一步算出 xtx_t。训练去噪网络于是变成一个极简的回归问题——告诉网络「这份样本里混着哪些噪声」,让它把噪声预测出来:

L=Ex0,ϵ,t[∥ϵ−ϵθ(xt,t,c)∥22]\mathcal{L} = \mathbb{E}_{x_0,\epsilon,t}\left[\left\|\epsilon - \epsilon_\theta(x_t, t, c)\right\|_2^2\right]

ϵθ\epsilon_\theta 是参数为 θ\theta 的去噪网络,cc 是条件(文生图里就是文本),E\mathbb{E} 是对训练图像、随机噪声和随机时间步取期望,∥⋅∥22\|\cdot\|_2^2 是逐元素平方和。网络输出的是对混入噪声的估计,而不是图像本身。之所以预测噪声而不是直接预测 x0x_0,是因为在噪声占主导的早期时间步,预测 x0x_0 的目标方差很大、难以学稳;而预测噪声在各时间步上的尺度更均匀,训练更稳定。这个选择与从变分下界推导到简化损失的过程在 扩散模型从零讲起(一):从 DDPM 的加噪/去噪到 DiT 与 Flow Matching 里有完整推导,这里只保留文生图架构需要的那一层。

训练与采样为什么方向相反

训练时让网络看不同噪声水平的加噪样本,学会「这份噪声是什么」。生成时把过程反过来:从纯噪声 xTx_T 出发,在每一步用网络估计的噪声「减掉一点」,逐步得到 xT−1,xT−2,…,x0x_{T-1}, x_{T-2}, \dots, x_0。直觉上,网络在训练中见过「噪声水平为 tt 的样本长什么样」,于是当它在采样中遇到一份「大约只有 tt 水平噪声的样本」时,就能估计出这份噪声的方向,减去它便前进一小步。

这里有一个容易被忽略的结构性事实:去噪网络本身不是生成器。它只是一个带条件的噪声估计器,真正把噪声变成图像的是外面那层采样算法。所以「扩散模型的推理」指的是一个循环:初始化噪声 → 重复调用网络 → 更新样本 → 最后解码。后文第四节讲的 DDIM 正是这个循环的具体形式。

为什么文生图没有直接在像素里做

最早的扩散模型是直接在像素上跑的,分辨率 64×64 到 256×256 时还能接受。像素扩散有两个先天问题。

第一是计算量随分辨率平方增长。一张 512×512 的 RGB 图有 512×512×3≈78512\times512\times3 \approx 78 万个数值。去噪网络每一步都要对整张图做卷积或注意力运算,而采样要跑几十步。分辨率翻倍,像素数变成 4 倍,每步成本大致也变成 4 倍,可人类真正关心的「语义」并不会因为分辨率翻倍而变多。

第二是算力花在了高频细节上。扩散模型在不同频段上的学习难度并不均匀:低频结构(物体轮廓、大致布局)决定图像的语义,高频细节(纹理、颗粒、边缘)只影响观感。像素空间里,网络必须同时负责低频和高频,大量容量花在拟合高频细节上,而这些细节对「这张图画的是什么」几乎没有贡献。

这两个问题指向同一个答案:先把图像压缩成一个更短的表示,在这个表示上做扩散,最后再解压回像素。这就是潜空间扩散(Latent Diffusion)。

视觉世界与潜空间的分工:图像编码器压缩、信息创造者在潜空间生成、解码器还原

上图把这两个世界的分工画成了一横一竖两条通道。下方「Visual World (Pixel space)」是像素空间,一张 512×512512\times512 的图在这里占满整个宽度;经过「Image Encoder」向上压缩后,进入上方「Latent space」,同一条信息变成一个明显更小的方块;生成过程在这个小方块上反复进行,最后由「Image Decoder」压回像素空间。图中把「Image Information Creator」标注在潜空间那一层,明确了「谁在生成」——去噪主干只在潜空间里工作,像素空间只在两端出现,且各只出现一次:入口编码一次,出口解码一次。

潜空间扩散架构总览:左侧像素空间,中间潜空间条件去噪 U-Net,右侧解码回图像

上图来自潜空间扩散原始论文中的架构示意图。图被横向分成两块空间:左侧的「像素空间」(Pixel Space)是原始图像,经过编码器压成中间的潜变量 τθ(z)\tau_\theta(z);中间的「潜空间」(Latent Space)里,一个带交叉注意力层的去噪 U-Net 在多个时间步上反复处理潜变量,同时接收文本与图像条件;最后潜变量经过解码器 D\mathcal{D} 回到像素空间。图里的交叉注意力标记(crossattention)标在 U-Net 的若干层级上,说明文本条件被分多次注入,而不是只在入口给一次。这张图几乎就是后文所有讨论的索引:第一节是左端编码器,第二节是中间 U-Net 与 DiT,第三节是条件来源与注入路径,第四节是那条把「多步去噪」变成采样的循环与右侧解码器。

第一段:VAE 如何把图像压进潜空间

编码器、解码器与潜变量的角色

潜空间扩散依赖一个自编码器(autoencoder)。编码器 E\mathcal{E} 把图像 x∈RH×W×3x \in \mathbb{R}^{H\times W\times 3} 映射到潜变量 z=E(x)z = \mathcal{E}(x),尺寸通常是 z∈Rh×w×cz \in \mathbb{R}^{h\times w\times c},其中 h=H/fh=H/f、w=W/fw=W/f,ff 是下采样倍率。解码器 D\mathcal{D} 把潜变量还原成图像 x^=D(z)\hat{x} = \mathcal{D}(z)。

潜空间扩散只在 zz 上定义加噪与去噪,训练目标变成:

LLDM=EE(x), ϵ∼N(0,I), t[∥ϵ−ϵθ(zt,t,c)∥22]\mathcal{L}_{\text{LDM}} = \mathbb{E}_{\mathcal{E}(x),\,\epsilon\sim\mathcal{N}(0,I),\,t}\left[\left\|\epsilon - \epsilon_\theta(z_t, t, c)\right\|_2^2\right]

与像素扩散相比,唯一的字面区别是期望里的 xx 换成了 E(x)\mathcal{E}(x)。看起来只是多套了一层编码器,但它带来的变化是根本性的。

以 Stable Diffusion 的 VAE 为例,下采样倍率 f=8f=8,潜空间通道数 c=4c=4。一张 512×512×3 的图,像素空间有约 78 万个数值,潜空间只有 64×64×4=1638464\times64\times4 = 16384 个,缩小了约 48 倍。去噪网络的每步成本大致按这个比例下降,同样的算力和时延下可以支持更高分辨率,或者在固定分辨率下用更短的时间跑完采样。在官方 txt2img 脚本里,这两个数字直接出现在初始化形状里:

shape = [opt.C, opt.H // opt.f, opt.W // opt.f]
samples_ddim, _ = sampler.sample(S=opt.ddim_steps,
conditioning=c,
batch_size=opt.n_samples,
shape=shape, ...)

opt.C 就是潜空间通道数 4,opt.H // opt.f 是 512 除以 8 得到的 64。整条采样循环操作的都是 4×64×644\times64\times64 的小张量,图像分辨率只出现在最后的解码那一步。

为什么是变分自编码器而不是普通自编码器

如果只用一个普通自编码器(只优化重建误差),潜空间会变得「不平整」:重建得好的点之间可能间隔很远,潜空间里许多位置解码出来是毫无意义的噪声。而扩散模型会在整个潜空间里游走——采样最开始几步里 zTz_T 是标准高斯分布的样本,远离任何真实图像编码出的点。网络必须在这些位置上也输出合理的去噪方向。

变分自编码器(VAE,Variational Autoencoder)通过一个正则项把潜空间约束得接近标准正态分布。编码器输出的不是单一的点,而是一个对角高斯的均值 μ\mu 与对数方差 log⁡σ2\log\sigma^2,潜变量通过重参数化采样得到:

z=μ+σ⊙ϵ,ϵ∼N(0,I)z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)

⊙\odot 表示逐元素相乘。训练目标在重建误差之外再加上与标准正态的 KL 散度:

LVAE=∥x−D(z)∥2+β DKL(q(z∣x) ∥ p(z))\mathcal{L}_{\text{VAE}} = \left\|x - \mathcal{D}(z)\right\|^2 + \beta\, D_{\text{KL}}\big(q(z\mid x)\,\|\,p(z)\big)

β\beta 是正则强度,∥⋅∥2\|\cdot\|^2 是重建误差,p(z)=N(0,I)p(z)=\mathcal{N}(0,I) 是标准正态先验,q(z∣x)q(z\mid x) 是编码器给出的分布,DKLD_{\text{KL}} 是 KL 散度。KL 项让 q(z∣x)q(z\mid x) 靠近标准正态,于是潜空间里任意一个样本都「有机会」被解码成合理图像——这恰好是扩散采样所要求的性质:采样起点 zTz_T 就取自标准正态,它必须在解码器看来是一个可被还原的起点。

此外,只用重建误差(L1/L2)训练的解码器往往偏模糊,因为逐像素误差的最优解是取平均。所以实际 VAE 还会带一个对抗损失项,用判别器判断重建图与真实图像是否可区分,把解码器逼向锐利的细节。Stable Diffusion 的 VAE 就是「重建项 + KL 正则 + 对抗项」的组合。

VAE 与扩散模型的分工

自编码器示意:编码器把图像压到潜空间,解码器把潜变量还原为图像

上图画的是自编码器本身的进出关系:图像与潜变量之间是双向的,编码器负责压缩、解码器负责还原,扩散过程只发生在中间那段潜变量上。把职责拆开看,两阶段各自有非常清晰的目标:

  • VAE 学的是「什么样的低维表示能还原图像」。它知道哪些像素细节可以被丢掉、哪些必须保留,重建质量是它唯一的评价指标。
  • 扩散模型学的是「什么样的潜变量分布是合理的」。它不碰像素,只在 VAE 定义的潜空间里学习分布的几何形状。

两阶段分开训练而不是端到端联合训练,原因是端到端联合训练时,扩散损失会驱使它修改编码器,让潜空间为了让去噪变简单而偏离「能重建图像」的目标,解码质量随之下降。先冻结一个可靠的 VAE,再专门训练扩散模型,是工业界广泛采用的做法。关于 VAE 在扩散模型里承担感知压缩角色的完整分析,以及下采样倍率与对抗项如何影响最终图像质量,可以参考 扩散模型从零讲起(四):潜空间扩散与条件生成——VAE、cross-attention 与 MMDiT 双流。

下采样倍率怎么选

下采样倍率 ff 是潜空间扩散里最重要的工程参数之一,它决定了压缩率和重建质量之间的取舍。

  • ff 太小(比如 1,即像素扩散):计算量几乎不降,等于没用潜空间。
  • ff 太大(比如 32):潜空间太小,细节丢得太多,解码器很难还原出锐利纹理;很多不同图像会映射到非常接近的潜变量,扩散模型没法区分它们。
  • 工业界常用的取值是 f=8f=8。这个倍率下潜变量保留了足够的中层语义与部分纹理信息,重建质量与压缩率之间取得了平衡。

这个选择在推理上也有直接的换算关系:f=8f=8 时,目标分辨率 5122512^2 对应潜变量 642=409664^2=4096 个空间位置,102421024^2 对应 1282=16384128^2=16384 个。去噪网络处理的空间 token 数完全由 ff 和目标分辨率决定,这是估算一次文生图请求主干计算量的第一步。

潜变量的缩放因子

VAE 训练出来的潜变量数值范围往往偏离标准正态——均值接近零但方差不一定是一。扩散模型的前向加噪过程直接使用标准差为一的高斯噪声,如果潜变量本身尺度不匹配,加噪链的信噪比就会偏离设计。Stable Diffusion 系列的解决方式是在进入扩散之前给潜变量乘一个固定缩放因子,解码前再除回去。

这个因子是 0.182150.18215,来自对训练数据潜变量标准差的第一主成分的统计估计。代码里表现为两行:

z = model.get_first_stage_encoding(model.encode_first_stage(x)) # 乘以 0.18215
x = model.decode_first_stage(z) # 内部先除以 0.18215

β=0.18215\beta=0.18215 的数值不是设计出来的常数,而是从数据里量出来的。它把潜变量的 RMS 大致归一到 1,让标准正态噪声与前向链的 αˉt\bar\alpha_t 日程能对上。这一点在工程上是硬约束:换了一个重新训练的 VAE,缩放因子必须重新统计,否则扩散模型看到的潜变量分布与训练时不一致,生成质量会明显下降。

潜空间的显存与批处理

除了压缩计算量,潜空间还降低了激活显存。U-Net 主干的中间特征图在浅层最宽:64×64×32064\times64\times320 的特征图有约 131 万个数,单张 float16 约 2.6 MB;若换成像素空间的 512×512×320512\times512\times320,就是 83.9 MB,放大 32 倍。采样循环里主干每步都要读写这些激活,显存带宽和容量都按这个比例被压缩下来。

批处理也随之受益:同一批 N 条请求的潜变量堆成 N×4×64×64N\times4\times64\times64,占用很小,这也是文生图服务能相对轻松地做批量采样的原因。

第二段:去噪主干网络的演进

潜空间扩散的「大脑」是去噪主干网络。它接收当前时间步的潜变量、文本条件与时间步信息,输出一份噪声估计。文生图主干的演进可以分成两个阶段:卷积型的 U-Net,以及 Transformer 型的 DiT。

U-Net 主干的三个阶段

先交代名字的来历:U-Net 最初是 2015 年为医学图像分割提出的网络结构,因为它的特征图尺寸沿编码路径一路缩小再沿解码路径一路放大,连起来在示意图上像一个「U」,因此得名。扩散模型只借用了它的形状——对称的编码-解码骨架与跳跃连接——而不是分割任务本身。

U-Net 是一种带跳跃连接的编码器-解码器结构。输入潜变量经过若干次下采样,特征图尺寸逐级减小、通道数逐级增加;到最深层后再经过对称的若干次上采样回到原始尺寸;同一层级的下采样路径与上采样路径之间用跳跃连接相连,把高分辨率的信息直接传给解码侧。

把 U-Net 拆成阶段来看,它反复执行同一种「三段式」单元:

  1. 下采样阶段:经过若干级残差卷积块,每级之后把空间尺寸减半、通道加倍。空间分辨率一路降到原来的 1/8 甚至更低。
  2. 中间层:在最低分辨率上,先经过一块带自注意力的残差块,再用若干块交叉注意力处理文本条件。这一层感受野最大、空间最粗,负责全局构图与语义一致性。
  3. 上采样阶段:把特征逐级放大回原始尺寸,每一级与对称位置的下采样特征拼接(concat),然后经过残差块融合。拼接的作用是把编码侧保存的细节信息带回来,避免下采样造成的定位信息丢失。

对文生图来说,U-Net 需要融合三组输入:

  • 潜变量本身:当前时间步的 ztz_t,作为主干的主输入。
  • 时间步信息:tt 经过位置编码变成向量,再通过逐层的 FiLM 调制或加性嵌入注入每个残差块,告诉网络「我现在处于噪声水平多高的阶段」。
  • 文本条件:文本编码器输出的序列 c∈RL×dc \in \mathbb{R}^{L\times d},在每个交叉注意力层注入。

U-Net 之所以成为早期潜空间扩散的主流是结构使然:下采样扩大感受野,让深层能看到大范围的构图;跳跃连接保留细节,让浅层高频信息直达解码侧,抑制网格状伪影。这些性质与「扩散要生成一张空间上连贯的图像」的需求高度匹配。

DiT:用 Transformer 替换卷积主干

DiT 把 U-Net 的卷积主干换成了标准 Transformer。它的处理流程如下:

  • 把 h×w×ch\times w\times c 的潜变量切成 p×pp\times p 的小块(patch),每块展平后线性投影成 dd 维 token,变成长度 N=(h/p)(w/p)N=(h/p)(w/p) 的序列。
  • 给每个 token 加上固定位置编码,再补上时间步与类别条件 token。
  • 过若干层 Transformer 块(自注意力 + 前馈网络),每个块之前都有一个自适应层归一化(adaptive Layer Norm,adaLN)的调制。
  • 最后把输出序列 patch 化回 h×w×ch\times w\times c,作为预测噪声。

最关键的改动是条件调制方式。原版 DiT 用 adaLN-Zero:把时间步与类别嵌入相加后过一个小 MLP,输出每个 Transformer 块的 (γ,β,α)(\gamma, \beta, \alpha) 三组参数,分别用于层归一化的缩放、平移以及残差分支的缩放。α\alpha 初始化为零,于是每个块初始时近似恒等映射,深层网络在训练早期更稳定;训练开始后 α\alpha 逐渐偏离零,网络才「学会」使用条件。

DiT 三种条件注入变体:adaLN-Zero、交叉注意力与上下文拼接

上图是 DiT 论文里的结构示意,从左到右画了从整块到三种具体块变体。最左侧是 DiT 的整体流程:噪声潜变量 32×32×432\times32\times4 被切开 patchify、投影成 token 序列,加上位置编码与条件 token 后进入若干 DiT 块,最后经线性层和 reshape 还原成同样的潜变量形状。右侧三列是三种条件注入方案:

  • adaLN-Zero 块:每个块内部只有两个分支——多头自注意力与逐点前馈,所有归一化的缩放与平移参数以及残差缩放都由外部条件生成,块本身没有条件输入通道,结构最简单。
  • 交叉注意力块:在自注意力与逐点前馈之后,插一层多头交叉注意力,文本 token 作为 Key/Value 进入。这是 U-Net 里条件注入思路的 Transformer 版本。
  • 上下文拼接块:把文本 token 直接拼到潜变量 token 序列的前面一起做自注意力,文本和图像在同一个注意力里交互,不额外增加交叉注意力层。

论文最初的 DiT 默认使用 adaLN-Zero 加类别条件(用于条件图像生成),把三种变体并列出来是为了说明「条件怎么进网络」有几条不同的路,而不是三种都要同时用。对文生图而言,后来的模型大多沿着交叉注意力或上下文拼接的方向扩展,因为它们能承载任意长度、任意模态的条件。DiT 之后的架构演进(MMDiT 双流、原生多模态主干等)在 扩散模型从零讲起(九):架构演进——从 U-Net 到 DiT、MMDiT 与原生多模态主干 中有更细的拆解。

架构层面最重要的一点是:把主干换成 Transformer 后,扩散模型与文本模型用了同一种架构语言。文本编码器的输出本来就是 token 序列,可以直接作为注意力里的 Key/Value,或直接拼进 token 流,条件融合不再受卷积结构的限制。这也是新一代文生图模型大多转向 DiT 类主干的根本原因——它与更大的文本编码器、更多模态的联合建模组合起来更自然。

时间步嵌入与 FiLM 调制

U-Net 与 DiT 都要处理「时间步怎么进网络」这个共同问题。时间步是一个标量整数,而网络各层处理的是高维特征图,两者维度不匹配。通用做法分三步:

  1. 编码成向量:把标量 tt 用正弦/余弦位置编码展开成一个 dd 维向量,与 Transformer 位置编码同源。这样相邻时间步的编码在高维空间里也是连续的,网络能平滑地插值。
  2. 过一个小 MLP:把编码向量变成一组「调制参数」,形状取决于网络规模。
  3. 逐位置注入:U-Net 里通常把参数切成若干份,用 FiLM 调制(对归一化后的特征做缩放和平移);DiT 里则用 adaLN-Zero 把参数直接合并进层归一化。

用公式写 FiLM 调制:给定归一化后的特征 hh 和由时间步生成的缩放 γ(t)\gamma(t)、平移 β(t)\beta(t),输出 h′=γ(t)⊙h+β(t)h' = \gamma(t)\odot h + \beta(t)。γ\gamma 决定这个时间步下网络对每一维特征「放大还是压制」,β\beta 决定「整体偏移多少」。为什么缩放和平移能表达时间信息?因为同一个卷积权重在网络所有时间步上共享,唯一能让网络在不同噪声水平下行为不同的就是这些逐位置的调制参数;它们像是给固定网络套上一组随 tt 变化的「旋钮」。

自注意力出现在哪里

在原版 U-Net 里,自注意力并不出现在每一层。它只在较低分辨率(通常是 8×88\times8 或 16×1616\times16 那一级)上插一块多头自注意力,其余层级全是卷积。理由很简单:自注意力对序列长度是平方复杂度,64×64=409664\times64=4096 个 token 的自注意力图有约 1678 万项,显存和计算都很重;而降到 8×88\times8 只有 64 个 token,代价可以忽略。低分辨率处的全局交互恰好承担了「整体构图与语义一致性」的责任,高分辨率处用卷积处理局部细节。

DiT 把这个取舍推到了极端:整张潜变量都被切成 patch 做自注意力,不再有下采样层级。于是主干里自注意力的成本按 N2N^2 增长,NN 是 patch token 数。以一个常见配置为例:潜变量 64×6464\times64、patch 大小 p=2p=2,则 N=(64/2)2=1024N=(64/2)^2=1024 个 token,注意力图有约 105 万项;图像升到 102421024^2 时潜变量 128×128128\times128,N=4096N=4096,注意力图变成约 1678 万项,翻了 16 倍。这正是文生图主干优化里「注意力 kernel 与稀疏注意力」成为热点问题的算术来源。视频生成侧的稀疏注意力路线在 视频扩散模型的稀疏注意力:SVG、SVG2、Radial Attention 与 Re-ttention 如何把 3D 全注意力压到可服务的成本 里有详细拆解。

两种主干怎么选

两者在同等参数规模下都能出好图,差别主要在工程偏好上:

维度U-NetDiT
归纳偏置强空间局部性,下采样扩大感受野纯全局注意力,不预设空间结构
条件注入交叉注意力 + FiLM 调制adaLN-Zero 逐层调制 + 可选交叉注意力/上下文拼接
规模扩展增大规模收益来得快、后段变慢参数与算力扩展更平滑
实现复杂度多种块类型、跳跃连接管理较复杂标准 Transformer 块,与语言模型复用度高
典型场景早期潜空间扩散模型新一代文生图模型

选型没有绝对答案。如果团队已经有一整套 Transformer 训练与 kernel 优化基础设施,DiT 能直接复用;如果追求成熟的卷积加速和更小的模型体量,U-Net 依然可用。

第三段:文本条件从哪里来,怎么注入

文本编码器的选择

文本在文生图里只是条件来源,本身不参与去噪。常见文本编码器有两大类:

  • CLIP 文本编码器:与图像编码器共享对比学习(contrastive learning)训练出的嵌入空间,输出的是语义高度概括的表示,擅长抓住「整体语义与风格」。
  • T5 类编码器:编码更偏字面的语言结构,对长句、复杂描述的字面细节保留更好。

两类编码器偏好不同,所以不少模型同时用两个编码器:两路输出的 token 序列各自投影到统一维度后拼接,一起作为条件。Stable Diffusion 早期版本的文本编码器就是一个 CLIP 文本编码器:它把 prompt 切成 token,输出每个 token 的嵌入序列,这条序列长度只有几十到一百多个,远小于潜变量 token 数。

CLIP 的双塔结构与对比学习细节在 CLIP 架构拆解:一段文字和一张图怎么被放进同一个空间——双塔对比学习、InfoNCE 与零样本推理 里有完整说明;文本编码器与提示词加权如何影响生成结果,在 扩散模型从零讲起(十六):文本条件是怎么来的——CLIP/T5 编码器、提示词加权与组合性失败 里有专门讨论。

交叉注意力的数学形式

文本进入主干后,最常见的注入方式是交叉注意力(cross-attention)。它与自注意力形式相同,区别在于 Query 和 Key/Value 来源不同:

CrossAttn(Q,K,V)=softmax ⁣(QK⊤d)V\text{CrossAttn}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d}}\right)V

其中 Q=WQ zQ = W_Q\, z 来自潜变量特征 zz,K=WK cK = W_K\, c、V=WV cV = W_V\, c 来自文本序列 cc,WQ,WK,WVW_Q, W_K, W_V 是三个可学习投影,dd 是注意力头维度。

矩阵形状决定了这个操作的规模:QK⊤QK^\top 是 N×LN\times L,NN 是当前层的潜变量 token 数,LL 是文本 token 数。softmax 按行归一化,每行对应一个潜变量 token 对 LL 个文本 token 的注意力分布,再用这个分布对 VV 加权求和。与自注意力相比,N>>LN >> L 时 N×LN\times L 的注意力图比 N×NN\times N 小得多,交叉注意力的成本反而是主干里相对轻的一块。

一个值得注意的差别是:交叉注意力不要求两侧序列长度相同,也不改变潜变量序列长度。文本 token 只作为附加信息参与,输出序列仍是 NN 个潜变量 token,形状与输入一致。这正是条件注入能和去噪主干解耦的几何前提。

条件的输入与输出:U-Net 的实际视角

U-Net 的输入与输出:带噪潜变量、时间步噪声水平与文本 token 嵌入,输出预测噪声采样

上图画了一个 U-Net 块的输入输出三件套:上方「Noisy compressed image (latents)」是带噪的潜变量,右侧「Noise amount」是当前时间步(噪声水平),下方深色块「Text information (token embeddings)」是从 prompt 来的文本嵌入。输出是「Predicted noise sample」——一份与潜变量同形状的噪声估计。

这三组输入分别对应三种角色,缺一不可:

  • 潜变量决定当前图像长什么样,是主干的主体;
  • 噪声水平告诉网络当前样本有多「糊」,网络必须按不同噪声水平调整减噪力度;
  • 文本嵌入限定这个方向应该往哪里走。

如果省掉噪声水平,网络就无法区分「在很早的阶段应该做大幅度调整」与「在很晚的阶段应该做细微修正」;如果省掉文本,网络只学会无条件生成任意图像,文本就控制不了结果。

文本条件的两种形态:序列与池化向量

同一个文本编码器的输出其实有两种用法,不少模型会两种都用:

  • 序列形态:保留 LL 个 token 的嵌入序列 RL×d\mathbb{R}^{L\times d},进入交叉注意力,承担每个 token 与空间位置的对齐。
  • 池化形态:把 LL 个 token 的嵌入取均值或取末端 token,压成一个 dd 维向量,再与时间步嵌入相加,通过 FiLM 或 adaLN 注入所有残差块。

两种形态互补。序列形态让局部词句能和图像局部对齐——「红色的帽子」的「红色」会作用于帽子所在的空间区域;池化形态则给出一个全局语义摘要,稳定地影响所有层级的生成方向。只用序列形态时,全局风格的控制容易随着注意力分散而变弱;只用池化形态时,又丢失了词级别的空间定位。同时使用时,池化向量充当「全局基调」,序列充当「局部配方」。

从计算视角看,池化形态的成本可以忽略——它只是一个 dd 维向量与时间步嵌入的相加;序列形态则是交叉注意力里 QK^\top 的那一块。因此在加速时,序列很长(比如用 T5 编码长 prompt 时 LL 可达 512 以上)的模型,交叉注意力会成为需要单独优化的热点。

注意力掩码:让文本与潜变量的对应可控

实际部署里,一个 batch 内的 prompt 长度各不相同,而模型需要固定长度才能批量打包。于是文本序列会被补齐到固定长度,并用一个二值掩码标识哪些位置是真实 token、哪些是补齐位置。这个掩码在交叉注意力里以负无穷加到无效位置:

maskij=0 if j is valid, −∞ if j is padding\text{mask}_{ij} = 0 \text{ if j is valid, } -\infty \text{ if j is padding}

softmax 之后无效位置的权重为零,补齐 token 不影响输出。如果掩码没处理好,补齐位置会被当成有效文本参与加权,生成结果会受无意义 token 干扰,而且这种干扰在不同随机种子下表现不同,排查很困难。在批量推理里,掩码必须按每条请求的实际长度单独构造——这也是不同框架在处理多模态或条件输入时都要专门做一遍的输入侧工作,例如 vLLM 源码完全拆解(十三):多模态输入——从图像预处理到 Placeholder Range 嵌入 里讨论的嵌入回填与占位处理逻辑。

第四段:从去噪器到采样器

训练好之后,去噪网络只是一个「条件噪声预测器」,它不会自己生成图像。生成需要一个采样算法:从纯噪声出发,按某个离散化方案一步步把噪声减掉。文生图最常被引用的采样算法是 DDIM,因为它支持少步采样,而且可以做成确定性。

DDIM 的递推

DDIM 的关键思路是:只利用扩散过程后验分布的「方向」,不引入每一步的随机噪声。于是可以把原来的 TT 步过程重写成一段更短的子序列 τ1<τ2<⋯<τS\tau_1 < \tau_2 < \cdots < \tau_S,用 SS 步走完:

zτi−1=αˉτi−1 z^0+1−αˉτi−1 ϵ^z_{\tau_{i-1}} = \sqrt{\bar\alpha_{\tau_{i-1}}}\, \hat{z}_0 + \sqrt{1-\bar\alpha_{\tau_{i-1}}}\, \hat{\epsilon}

ϵ^\hat{\epsilon} 是网络在这一步的噪声估计 ϵθ(zτi,τi,c)\epsilon_\theta(z_{\tau_i}, \tau_i, c),z^0\hat{z}_0 是从当前潜变量反推的干净潜变量估计:

z^0=zτi−1−αˉτi ϵ^αˉτi\hat{z}_0 = \frac{z_{\tau_i} - \sqrt{1-\bar\alpha_{\tau_i}}\, \hat{\epsilon}}{\sqrt{\bar\alpha_{\tau_i}}}

αˉτi\bar\alpha_{\tau_i} 是时间步 τi\tau_i 的累积保留系数。整个递推里只出现 ϵ^\hat{\epsilon} 一个网络输出,没有额外随机采样项,因此 DDIM 在给定初始 zTz_T 时是确定性的:同一个噪声、同一句文本,总是生成同一张图。这对文生图的复现和调试很重要——固定随机种子后,比较不同 prompt、不同主干、不同引导强度才有意义。早期 DDIM 论文还提供一个 η\eta 插值系数,η=0\eta=0 是纯确定性,η=1\eta=1 退回带随机性的 DDPM;官方脚本里的 eta 就是这个参数。

少步采样的代价是每步步长更大、离散化误差更大,低步数时图像可能略软或细节不足。工业界的实际做法是综合权衡步数与质量:早期模型常用 50 步,近年来配合蒸馏技术和更好的求解器,20–30 步也能达到接近的效果。采样器的完整比较在 扩散模型从零讲起(六):采样器完全拆解——DDIM、Heun 与 DPM-Solver,为什么 20 步就够 中有推导。

采样器家族与「为什么 20 步够」

DDIM 是最容易解释的采样器,但它是「一阶」的:只用当前点的噪声估计,按固定步长跨过去。误差与步长的关系是一阶收敛,步数少时偏差明显。之后出现了几代改进:

  • 高阶求解器(DPM-Solver、DPM-Solver++、Heun 等):把反向过程当作常微分方程求解,利用前几步或二阶导数的信息来跨更大步长,20–25 步即可达到 DDIM 50 步的质量。它们多出来的开销是部分步要算两次网络前向,但总步数大幅下降,整体更省。
  • Karras 日程:不改变求解器,只改变时间步网格的分布——在噪声较大的阶段加密采样点,因为图像结构在这一段变化最快。
  • 引导前的求解器:CFG 的缩放会破坏反向过程 ODE 的性质,DPM-Solver++ 的 2M 模式等针对带引导的采样单独做了修正,让高引导强度下的 20 步采样保持稳定。

一句话概括:DDIM 定义了「从噪声到图像沿固定轨迹前进」的基本形式,后续采样器都在减少这条轨迹需要被离散化的次数。对部署而言,这意味着「采样步数」是一个可以独立于主干架构优化的维度——换一个求解器,主干前向的成本不变,但请求的整体时延可以近乎按比例下降。

一步步去噪是什么样子

同一条 prompt 下的多步去噪过程:同一 U-Net 在不同采样步重复调用

上图把采样循环的实盘形态画出来了:顶部一排「UNet Step」表示同一个 U-Net 被重复调用,下方每一步的潜变量在变化,标注了第 10、30、50 步时潜变量的样子。中间是一条带彩色的长条,把潜变量从「信息」一路变成可解码的表示。三件事是这张图要传达的:

  • 每一步的输入是上一步的输出,循环不是各步独立预测;
  • 同一个网络在不同时间步上被调用,网络本身不带时间状态,时间步 tt 通过输入传给网络;
  • 越靠后潜变量越「清晰」,对应的噪声水平在下降。

图中的三步代表采样序列里的若干时刻,实际采样步数就是循环次数。这也直观解释了为什么降低步数能加速:采样成本几乎与步数成正比。

无分类器引导:让条件「更用力」

文生图的图像质量和文本一致性之间存在显著的取舍:文本条件太弱时,图像质量自然但与 prompt 偏离;条件太强时,图文一致性高但图像易过饱和、出现伪影。无分类器引导(CFG,Classifier-Free Guidance)是解决这个取舍的标准手段。

训练时必须让同一个网络学会条件预测与无条件预测两种模式。做法是:以一定概率(例如 10%)把文本条件替换成空条件,让网络同时学会 ϵθ(zt,t,∅)\epsilon_\theta(z_t, t, \emptyset)。生成时把两者组合起来:

ϵ~=ϵθ(zt,t,∅)+w(ϵθ(zt,t,c)−ϵθ(zt,t,∅))\tilde{\epsilon} = \epsilon_\theta(z_t, t, \emptyset) + w\left(\epsilon_\theta(z_t, t, c) - \epsilon_\theta(z_t, t, \emptyset)\right)

ww 是引导强度,w=1w=1 时退化为纯条件预测,w>1w>1 时放大「有文本与无文本之间的差异」,把采样推向更符合文本描述的区域。官方脚本里的 scale 参数就是 ww,只有当 w≠1.0w \neq 1.0 时才会额外计算一次空条件:

uc = None
if opt.scale != 1.0:
uc = model.get_learned_conditioning(batch_size * [""])

这两行代码暴露了 CFG 的核心成本:每步要跑两次网络前向,一次带文本、一次空文本,采样时延和显存占用因此翻倍。这是文生图服务里最大的固定成本之一,也是引导蒸馏等降本手段的出发点。

CFG 的两次前向有两种组织方式,直接决定批处理的形状:

  • 拼接成一个大 batch:把 [c,∅][c, \emptyset] 拼成 batch 大小 2B2B,一次主干调用同时算出条件与非条件结果,最后在 batch 维度上切开按公式合成。显存峰值按 2B2B 计,但只需要一次 kernel 启动,GPU 利用率高。官方脚本走的就是这条路:batch_size * [""] 与真实条件一起送进 sampler。
  • 两次前向:先算条件、再算无条件的,或者反过来。好处是峰值显存可以降到接近单次前向,适合显存吃紧的部署;坏处是两次前向之间串行,无法利用大批量的并行度。

选择哪一种取决于显存与吞吐的取舍,而不是数学上的等价。注意两种方式都需要让两个分支保持同一个初始噪声 zτiz_{\tau_i},否则合成没有意义。

引导机制、负向提示词与引导蒸馏的完整讨论在 扩散模型从零讲起(十三):引导完全拆解:CFG、负向提示词与引导蒸馏。

不需要训练就能控制的几个旋钮

除了主干与步骤数,文生图在推理侧还有几个可以零训练调整的控制旋钮,它们都体现在采样循环的具体实现里:

  • 初始噪声:采样起点 zTz_T 决定同一 prompt 下不同的画面变体。固定种子就是固定噪声,这是复现的基础。
  • 引导强度 ww:在 [c,∅][c, \emptyset] 两个预测之间插值,越低画面越自然、越高越贴 prompt,过高的典型表征是色彩过饱和。
  • 文本条件插值:更极端的做法是把 cc 与空嵌入直接线性插值后再当条件用,本质上是一种「按嵌入空间插值」的引导,与 CFG 的预测空间插值不同,在实现上更轻(只需一次前向),但控制精度不如 CFG。
  • 负向提示词:把「不想出现的元素」放在无条件分支的位置。严格说这是 CFG 的一个约定俗成的扩展:公式里的 ϵθ(⋅,∅)\epsilon_\theta(\cdot, \emptyset) 换成了 ϵθ(⋅,cneg)\epsilon_\theta(\cdot, c_{\text{neg}}),把采样推向「远离负向描述」的方向。

这几个旋钮对部署的意义在于:它们是运行时参数,不需要重训模型。这意味着一个服务平台可以把同一个模型包装成多种风格或多种质量档,而只维护一份权重。

完整推理链路

把所有组件串起来,一次文生图请求按下面的顺序走:

  1. 文本编码:把 prompt 里的每条描述编码成 token 序列 cc,按实际长度构造注意力掩码并补齐到固定长度。若开启 CFG,还要同时准备好空条件的嵌入。
  2. 初始化噪声:从标准正态分布采样 zTz_T,尺寸为 C×(h/f)×(w/f)C\times(h/f)\times(w/f),对应目标分辨率。
  3. 采样循环:对 i=S,S−1,…,1i = S, S-1, \dots, 1:把 zτiz_{\tau_i}、时间步 τi\tau_i、条件 cc 喂给主干得到 ϵ^\hat{\epsilon};开 CFG 时再跑一次空条件得到 ϵ^∅\hat{\epsilon}_{\emptyset},按公式合成;用 DDIM 递推算出下一步 zτi−1z_{\tau_{i-1}}。
  4. 解压解码:采样结束时得到 z^0\hat{z}_0,解码器把它还原成像素图像,再做数值裁剪与归一化。
  5. 后处理:转成图片格式,必要时做安全审核等附加检查。

官方脚本把第 4 步写得非常直白:

x_samples = model.decode_first_stage(samples_ddim)
x_samples = torch.clamp((x_samples + 1.0) / 2.0, min=0.0, max=1.0)

decode_first_stage 是 VAE 解码器,它把潜变量还原到 [−1,1][-1,1] 区间;clamp((x + 1) / 2, 0, 1) 再把区间映射到 [0,1][0,1],准备转成 8 位图像。注意这两行只在整个采样结束之后执行一次——采样循环全程都在潜空间,只有最终结果需要解码。这是一个重要的部署性质:解码成本不随采样步数增加,而是每次请求固定一次。

从这个结构可以读出几项部署侧的关键性质:

  • 文本编码可以预计算。采样循环里 cc 不变,编码一次即可。同一个 prompt 的多个随机种子(同一批 N 张图)共用一份 cc,能进一步摊薄文本编码成本。
  • CFG 让每步前向翻倍。这是文生图服务里最大的固定成本之一,scale=1.0 时省掉空条件前向是一个可用的工程手段,代价是图像质量下滑。
  • 潜空间解码是批量的。采样结束后统一解码,可以按批处理,与采样步数无关。
  • 采样步数决定总时延。每步的主干前向是主体耗时,步数从 50 降到 20 意味着主干侧总耗时大致减半。
  • 潜变量空间尺寸由 ff 与目标分辨率固定,所以计算量可以按 C×(h/f)×(w/f)C\times(h/f)\times(w/f) 提前预估,和图像像素数成平方关系。

跨步缓存、并行采样、4-bit 量化等针对这条链路的加速手段在 扩散模型从零讲起(八):推理加速工程——跨步缓存、并行采样与 4-bit 量化 里有系统整理;一次请求在实际 pipeline 里的时间账在 扩散模型从零讲起(十九):一次请求的完整推理链路——从收到 prompt 到放出图像,diffusion pipeline 的每一段 里展开。

解码这一步:潜变量怎么变回像素

解码器的结构与成本

VAE 解码器与编码器结构对称:先经过若干级上采样卷积块,每级把空间尺寸放大一倍、通道减半,最后接一个输出卷积,得到 3 通道的像素图像。它与主干的根本区别是只运行一次——采样循环里不出现,只在最后执行。因此解码器的成本在总时延中占比不高,但它的显存峰值可能与主干相当:解码时要把潜变量逐级放大成 512×512512\times512 或更大分辨率的特征图,中间激活的规模与像素空间的图像同量级。

一个常见的工程优化是按块解码:把目标图像切成若干块,解码器按块处理,避免一次性分配整张高分辨率图像的特征图。代价是块边界处的连续性需要额外处理,否则会看到接缝。

解码是「上采样」而不是「还原」

有一个容易误解的点:x^=D(z^0)\hat{x} = \mathcal{D}(\hat{z}_0) 并不一定等于训练图像 xx 的精确还原。VAE 是有损压缩,解码得到的是解码器认为最可能的图像,而不是编码前的原图。这种损失在语义层几乎不可见,在高频纹理层会体现为轻微模糊。所以扩散模型生成的图像质量,是「VAE 解码质量」与「扩散模型潜空间定位精度」两个误差的叠加——这也是为什么只优化扩散模型而不改进 VAE 的收益存在天花板。

潜空间分辨率与图像分辨率的关系

从部署角度看,图像分辨率到底在哪些环节被消费,值得单独列一张表:

环节消费的分辨率与步数的关系
文本编码无关一次性
主干自注意力/卷积潜空间 h×wh\times w每步一次,∝S\propto S
交叉注意力潜空间 token 数 NN 与文本长度 LL每步一次
CFG每个分支各一次每步两次(或 batch 翻倍)
解码像素空间 H×WH\times W一次性

把表读一遍就能看出:提高分辨率的成本主要落在采样循环里,而且是平方级;解码虽然一次性,但也是平方级。这意味着分辨率请求每翻一番,服务成本增长远不止两倍——这是文生图服务普遍按分辨率分档计价的实际原因。

骨架之外的几件事

基础架构讲完之后,还有几类问题落在骨架的边缘,它们决定了同一套架构在不同模型上的表现差异,但已经不属于「基本结构」的范畴,这里只交代它们的位置。

潜变量形状与图像长宽比。主干以固定形状的潜变量为输入,而实际请求常有多样的长宽比。解决办法有两类:训练时用多长宽比数据(把不同形状的潜变量按 batch 打包),或推理时把请求落到最近的一个支持形状再裁剪/缩放。前者更自然但要求训练侧配合,后者实现简单但会损失构图。

条件强度的时间调度。同一句文本在采样早期和晚期的作用方式不同:早期决定大体构图,晚期决定细节修正。固定引导强度在两端往往不是最优解,所以出现了一些随时间调整 ww 或逐步降低条件权重的做法。

多条件融合。文生图的输入不止文本:参考图(image conditioning)、结构条件图(control)、风格参考(IP-Adapter)等都以不同方式进入主干——有的作为额外交叉注意力层,有的作为参考 token 拼接,有的作为控制网络的输入被加回。它们在基础架构里的位置是「条件注入」这一环的扩展,具体设计在 扩散模型从零讲起(十五):可控生成——ControlNet、T2I-Adapter 与 IP-Adapter 如何把结构条件注入去噪网络 里有系统讲解。

采样终点与解码时机。严格来说,最后一个时间步之后的 z^0\hat{z}_0 只是「估计出的干净潜变量」,解码器会把它的残差误差一起放大成像素伪影。有些实现会在最后一步把噪声水平压到接近零再解码,或者对 z^0\hat{z}_0 做一次平滑/缩放修正。

这些小问题不改变「VAE → 主干 → 采样 → 解码」的主骨架,但它们解释了为什么两个架构相似的模型在最终效果上差距很大。

小结

文生图扩散模型的基础架构可以凝练成一句话:在 VAE 压缩出来的潜空间里,用一个条件化的去噪主干沿固定加噪链的反方向逐步还原,文本通过注意力注入,采样器与引导控制最后怎么把噪声变成图像。

拆开来看,每个组件都对应一个明确的问题:

  • VAE 解决的是「像素空间太大、算力花错地方」的问题。f=8f=8 把 256 倍像素缩小到 64 倍潜变量,同时用 KL 正则让潜空间适合扩散采样,是压缩率与重建质量的常见平衡点。
  • 去噪主干解决的是「怎么在潜空间里学分布」的问题。U-Net 用下采样 + 跳跃连接提供强空间偏置;DiT 用 Transformer 块提供更好的规模扩展性与条件融合能力。
  • 文本编码器解决的是「指令从哪里来」的问题。CLIP 与 T5 两类编码器在语义概括与字面细节上各有偏好。
  • 条件注入解决的是「主干怎么听懂指令」的问题。交叉注意力把文本 token 变成 Key/Value;adaLN-Zero 或上下文拼接把条件变成逐层调制或附加 token。
  • DDIM 解决的是「采样要多少步」的问题,确定性轨迹让少步采样成为可能;CFG 解决「条件要多用力」的问题,用两倍前向换取图文一致性。

把这五块拼成一条链路,就得到一条可部署、可调参、可加速的生成流程。整条链路的成本结构也很清楚:文本编码一次、采样循环 S 次、CFG 让每次翻倍、解码一次。理解这条成本结构,是理解文生图推理优化的起点;在这个骨架上加的每一层改进——更快的采样器、更便宜的主干、更省的引导、更高效的 kernel——都是在打这个结构里某一处的成本。

参考资料

  1. High-Resolution Image Synthesis with Latent Diffusion Models
  2. Denoising Diffusion Probabilistic Models
  3. Denoising Diffusion Implicit Models
  4. Classifier-Free Diffusion Guidance
  5. Scalable Diffusion Models with Transformers (DiT)
  6. CompVis/latent-diffusion GitHub 仓库
  7. CompVis/stable-diffusion GitHub 仓库与 txt2img 脚本
  8. The Illustrated Stable Diffusion —— Jay Alammar

图片来源:latent-diffusion-overview.webp 取自潜空间扩散论文架构图,dit-architecture.webp 取自 DiT 论文的 DiT 块示意图,其余四张取自 Jay Alammar 的 The Illustrated Stable Diffusion 一文。以上图片均已下载并转为本站本地 WebP。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

文生图扩散模型入门:潜空间压缩、去噪主干、文本条件与采样链路的完整架构
https://pinghaoyang.com.cn/articles/insights/posts/text-to-image-diffusion-latent-architectures/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录