正在获取所在地区…
正在读取天气
音乐
暂未播放
扩散模型从零讲起(四):潜空间扩散与条件生成——VAE、cross-attention 与 MMDiT 双流
写在前面:这一篇在系列里的位置
这个系列已经走到第四篇,前三篇的主线是”生成过程本身的数学”:
- 第一篇从 DDPM 的两条高斯链讲起,推导了闭式前向边缘、闭式后验、ELBO 与简化损失,然后用 DDIM 把随机采样改成确定性轨迹,用 score matching 把去噪和分数场联系起来,再引入 Flow Matching 的直线路径,最后用 DiT 的 adaLN-Zero 说明 transformer 如何接管 U-Net 的主干位置。
- 第二篇把状态空间从 Rd 换成词表,讲吸收态掩码扩散的前向过程、后验与 ELBO,讲块并行解码如何把 L 步压缩成 L/b 轮。
- 第三篇进入系统层,拆解 dLLM 推理的算法、KV 缓存与调度,讨论 dInfer、Fast-dLLM 以及真实硬件上”GPU 只占 24% 时间”这类结论。
这三篇合起来回答了”扩散怎么工作”。但一个现实中的图像生成服务并不是把第一篇里的 DDPM 直接跑在 512×512×3 的像素上:它先经过一个变分自编码器(VAE)把图像压进 latent,再在 latent 上做扩散,同时把文本条件通过 cross-attention、adaLN 或双流注意力注入去噪网络。这一层结构决定了图像生成的绝大部分推理成本,也决定了”为什么 SD1.5 的 U-Net 不到 1B 参数就能在消费级显卡上跑、SD3 要做到 8B、Flux 要做到 12B,以及 1024 分辨率下每一步要多少 FLOPs”。
本篇要讲的就是这条连续侧的工程主线:
- 像素空间扩散为什么不可行,潜空间扩散(Latent Diffusion)用什么数字换来了什么;
- VAE 在扩散系统里究竟承担什么角色,latent 的通道数、下采样因子和 scaling factor 为什么是那样选的;
- 文本条件的三条注入通路——cross-attention、adaLN、MMDiT 双流——各自的数学形式、信息流方向与成本;
- classifier-free guidance 在推理时到底做了什么,为什么它让成本翻倍、又为什么后来的模型要把 guidance 蒸馏进权重;
- Flux 的双流—单流混合结构如何切分参数与注意力开销;
- rectified flow 的采样器、sigma shift 与步数选择,以及一次图像生成请求的完整成本账。
这一篇不讨论训练配方。扩散模型的训练目标在第一篇已经推导过,这里只把它当作既定的网络学习目标,重点放在”训练完成之后,推理时发生了什么”。
像素空间扩散的代价:为什么要把图像压进 latent
第一篇推导 DDPM 时,所有公式都是在”数据 x 是一个向量”这个抽象层面写的。落到图像上,x 是 H×W×3 的像素张量。如果直接在像素上跑扩散,去噪网络每一步都要处理全分辨率图像,开销随分辨率平方增长。
把成本算清楚。对 512×512 RGB 图像,像素数 N=512×512=262144,每个像素 3 通道。若去噪网络采用 DiT 式的 transformer,每个 token 是一个 patch:patch 大小 p×p 时 token 数 n=(H/p)(W/p),注意力矩阵是 n×n。patch 取 4 时 n=16384,单头注意力矩阵就有 163842≈2.7×108 个元素;patch 取 2 时 n=65536,矩阵膨胀到 4.3×109 个元素。即便用线性注意力或局部窗口,主干每层的通道数通常也在几百到上千,矩阵乘的计算量同样与 n 成正比。
更关键的不是计算量,而是”学什么”的问题。一张自然图像里,高频细节——发丝边缘的抖动、织物纹理的摩尔纹、传感器噪声——占了信息熵的相当一部分,但人眼对它们的感知权重很低。像素空间扩散要求去噪网络对每个像素独立建模这些高频变化,等于把大部分网络容量花在了重建细节上。第一篇讲过 DDPM 的简化损失是对每个维度等权重的噪声回归,这意味着网络必须在 512×512×3 个维度上逐个学准——对”画面语义”的建模和”像素细节”的重建被混在了一起。
潜空间扩散(Latent Diffusion Models,LDM)给出的答案是把这两个任务拆开:先训练一个自编码器,把图像编码成空间分辨率低得多的 latent,把语义结构留在 latent 里、把高频细节交给解码器重建;然后在 latent 上做扩散。LDM 论文 High-Resolution Image Synthesis with Latent Diffusion Models 于 2021 年 12 月发布,它之后成为 Stable Diffusion 系列的基础结构。
论文 Figure 2 把这种分工画得很直观:图像的大部分比特对应人眼不可感知的高频细节,只有少部分比特对应语义结构;扩散模型应当只在后者上建模。

图注原文说的是:数字图像的大部分比特对应人眼无法察觉的细节;扩散模型虽然可以通过降低对应损失项的权重来”抑制”这部分信息,但训练时的梯度、以及网络主干在训练和推理时仍然要在全部像素上计算,带来多余的计算量和高昂的优化、推理成本。论文因此提出用一个单独的、温和的压缩阶段只去掉不可感知的细节,再在压缩后的表示上做扩散。
第一层:LDM 的两段式结构——自编码器负责压缩,扩散负责生成
LDM 的整体结构可以写成两步:
z0x^=E(x),x∈RH×W×3, z0∈Rh×w×c=D(z),z∈Rh×w×c这里 E 是编码器,D 是解码器,x 是像素图,z 是 latent。下采样因子 f=H/h=W/w 取 f=2m,论文实验里比较了 f∈{1,2,4,8,16,32} 若干档。编码器把图像压小 f×f 倍,latent 的空间尺寸是 h×w,通道数是 c。
扩散过程完全在 latent 上运行:在第一篇的框架里把 x0 换成 z0,去噪网络 εθ(zt,t,⋅) 输入的是加噪的 latent,输出预测的 latent 噪声。生成时先从未知分布里采样 zT,跑反向链得到 z0,最后用解码器一次性还原 x^=D(z0)。
下图是 LDM 论文 Figure 3 的结构示意。

读这张图要注意三个层次。图下方的 Pixel Space 是完整的图像 x,经过编码器 E 进入 Latent Space,变成尺寸更小的 z。中间的 Denoising U-Net εθ 在 latent 上执行去噪,U-Net 的每个分辨率层都带 skip connection,把同一层级的特征直连到解码侧。右上方的 Conditioning 分支把文本、类别、语义图等条件编码后,以 cross-attention 的方式注入 U-Net 的中间层。最后从 z 经解码器 D 回到像素空间。
这里有三个设计决策值得逐个追问:
其一是为什么要用卷积为主的 U-Net,而不是 latent 上的 transformer。LDM 论文的理由是:扩散主干只需要生成”有二维结构的语义图”,卷积的归纳偏置正好匹配这一点;而且 U-Net 对 latent 的形状不敏感,换分辨率、换宽高比都不需要重训位置编码。这比在 latent 上直接跑 DiT 更省参数,也更容易在小数据集上训起来。
其二是为什么 latent 要保留二维结构。早期把图像编码成一维序列再做自回归的路线(VQGAN 一类)会丢掉空间结构,扩散主干得重新”学”二维关系。LDM 选择让 latent 保持 h×w 的方格形状,通道数 c 很小时 U-Net 依然能利用卷积的空间先验。
其三是下采样因子 f 怎么选。论文比较了 f=1,2,4,8,16,32 的几档,结论是 f 太小(f=1,2)时 latent 仍带大量高频细节,扩散主干的训练收敛很慢;f 太大(f=32)时第一阶段压缩过强,信息损失严重、保真度在很短的训练步数后就停滞。论文原话是”LDM-{4-16} 处在两者之间的平衡点”。Stable Diffusion 系列采用的 f=8、c=4,就是以这套实验为依据的取舍。
latent 的空间代价与计算量
把分辨率、通道数和网络代价一起算一遍。设像素图 H=W=512,latent 取 f=8、c=4,则 h=w=64,latent 的元素数是 64×64×4=16384;原始像素元素数是 512×512×3=786432。latent 的元素数是像素的约 2.1%,如果把每个通道当作独立的连续量去建模,潜在维度下降了接近 48 倍。
按第一篇的 DiT patch 化思路,若直接在像素上做 patch=2 的 transformer,序列长度是 (512/2)2=65536;在 latent 上做 patch=2,序列长度是 (64/2)2=1024。自注意力对序列长度是二次的,这一项就从约 4.3×109 的注意力元素降到约 106 量级,差了三个数量级。这就是潜空间扩散”在同样的显存下能跑更大的主干、更多的采样步”的直接来源。
代价也很清楚:解码器要一次性把 64×64×4 放大回 512×512×3,这一步是纯卷积/transformer 计算,不参与扩散迭代;VAE 的编码器与解码器也是额外的参数与显存。一次请求的总成本变成”编码器一次 + 扩散 N 步 + 解码器一次”,后面算总账时会再回到这个结构。
第二层:VAE 在扩散系统里到底学什么
LDM 里的自编码器不是普通的图像压缩器,它在训练阶段的目标决定了 latent 的性质,进而决定了扩散主干好不好学。
为什么用 VAE 而不是普通自编码器
如果只用重建损失 ∥x−D(E(x))∥2 训一个普通自编码器,latent 的空间可以任意”折叠”:相邻像素对应的 latent 点可能被映射得很远,latent 的数值尺度也可能非常极端。扩散模型在 latent 上加的是标准高斯噪声,它假定 latent 分布接近单位方差、空间连续。如果 latent 的尺度是任意的,噪声日程的设定(第一篇讲的 βt、αˉt)就失去了意义——同样的 t,等效信噪比随 latent 尺度变化而漂移。
LDM 论文讨论了两种正则化:
- KL 正则(KL-reg):在编码器输出上施加向标准正态的 KL 散度,形状类似标准 VAE。它让 latent 在统计上贴近 N(0,I),使噪声日程的设定有明确的参照。Stable Diffusion 使用的就是这个变体。
- 向量量化正则(VQ-reg):在解码器里插入一个向量量化层,让 latent 取码本中的离散向量。这使 latent 更接近 VQGAN 的结构,属于另一条路线。
KL 正则的代价是 latent 的每个维度被拉向单位方差,重建精度受限;但换来的是”扩散主干的输入分布已知且稳定”。这个交换对下游非常划算,因为扩散模型对输入尺度极敏感。
scaling factor:让 latent 的尺度对齐单位方差
KL 正则只让 latent “接近”标准正态,实际训练出来的 latent 方差往往偏离 1。Stable Diffusion 的解决方案是在工程上给编码器输出乘一个固定的缩放因子,使 latent 的尺度被强制归一。以 SD1.x 为例,diffusers 实现里该因子是 0.18215:编码时 latents = vae.encode(image).latent_dist.sample() * scaling_factor,解码前再除以同一个数。这样做的好处是:无论换哪种 VAE、哪种分辨率,扩散模型看到的输入尺度一致,噪声日程和 guidance 的超参数不需要重新调。
latent 通道数与质量
通道数 c 是另一个关键超参数。Stable Diffusion 1.x 使用 c=4;SD3 论文比较了 4、8、16 通道的 VAE,发现通道越多,扩散主干需要的容量越大才能达到同等效果,但在深度足够(例如 d=22 以上)时 8 通道与 16 通道的差距几乎消失。SD3 最终选择 16 通道,理由是它为后续放大模型规模留出了更多信息带宽。这里的信息量可以用一个粗略的尺度感知:每个 latent 元素承载的”有效比特”越多,主干要建模的分布就越复杂;通道数增加等价于把压缩率从”高压缩、主干简单”推向”低压缩、主干复杂”。
解码器是一次性的,所以它可以很重
有一个容易被忽略的成本结构:扩散主干的每一步都要前向一次,但编码器只在请求开始时跑一次、解码器只在结束时跑一次。因此工程上普遍把 VAE 设计得比扩散主干”更重”——解码器可以用更多的卷积层、更宽的特征图来换取重建细节,只要单次耗时可以接受。这解释了为什么在同样的服务里,VAE 解码器经常成为”最后一步的显存峰值点”,而扩散主干是”中间 N 步的稳定负载”。
第三层:文本条件从哪进入网络——三条注入通路
图像扩散的生成条件是文本提示词。文本本身是离散 token 序列,必须先变成向量;而”怎么把这段向量交给去噪网络”是条件生成里最关键的结构决策。历史上形成了三条主流通路,它们的信息流方向、计算成本和可扩展性都不同。
LDM 的 cross-attention:查询来自图像,键值来自文本
LDM 在 U-Net 的某些层后插入 cross-attention,只在这些层里把文本接进来。论文给出的形式是把图像侧特征 φ(zt) 做一次线性投影得到查询,文本编码器输出 τθ(y) 做两次投影得到键与值:
QKAttn(Q,K,V)=WQφ(zt)=WKτθ(y),V=WVτθ(y)=softmax(dQK⊤)V符号逐一说明:φ(zt) 是当前层把 latent 投影成空间特征图后的结果,通常被 flatten 成 n=hw 个位置;WQ,WK,WV 是可学习投影矩阵,d 是每个头的维度;τθ(y) 是文本编码器(论文里用 transformer)对提示词的输出,长度是 token 数 L。于是 QK⊤ 是 n×L 的矩阵。
这个形状本身就说明了 cross-attention 的本质:图像每个位置去”看”文本每个 token。计算量与 n⋅L 成正比,而 L 通常只有 77 个 token(CLIP 文本编码器上限),所以 cross-attention 的矩阵相对很小。这也是它便宜的原因:文本序列短,键值投影只需要算一次,可以跨所有去噪步缓存。
论文的消融还给出了一个细节:文本条件不需要在每个层注入,只在若干层插入就能达到很好的效果。这与”条件只决定全局语义、不决定局部像素”的直觉一致——语义信息在一次注入后,会被后续 U-Net 层的卷积把空间上传播开。
cross-attention 的局限也来自它的结构:查询来自图像、键值固定来自文本,图像与文本之间是”单向的、非对称的”关系。图像不能反过来把自身信息写回文本表示;并且当文本编码器给出的是池化向量而非序列时,cross-attention 就退化成了一个全局向量。
adaLN:把条件变成对每层的仿射调制
第二条通路是 DiT 的 adaLN-Zero(第一篇第六层讲过它的数学形式)。它不把文本当作额外的 token 序列,而是把池化后的条件向量 c 通过 MLP 展开成若干组缩放与平移参数,直接作用于每个 block 的 LayerNorm 输出:
AdaLN(h,c)=γ(c)⊙σ(h)h−μ(h)+β(c)其中 h 是该层隐状态,μ,σ 是在通道维上算的均值与标准差,γ(c),β(c) 是条件 c 经 MLP 预测的逐通道缩放和平移,⊙ 是逐元素乘。第一篇讲过的 adaLN-Zero 还额外把 γ 初始化为零,使初始时整层退化为恒等映射。
这条路的信息流是”全局标量向量 → 逐通道调制”。它表达的是”文本大致说了什么”,粒度是整张图共享的一组参数,无法表达”左上角画猫、右下角画石头”这类空间绑定。它便宜、稳定、对分类条件(类别标签)足够好用,但对需要精确指代的文本提示词偏弱。DiT 原论文的条件只涉及类别标签,所以 adaLN 是合适的选择;把 adaLN 原样搬到文本条件上时,通常还要额外补一条序列级的 cross-attention。
MMDiT 双流:两条独立权重、联合注意力
Stable Diffusion 3 提出了 MMDiT(Multimodal Diffusion Transformer),论文 Scaling Rectified Flow Transformers for High-Resolution Image Synthesis 于 2024 年 3 月发布。它的核心思想可以一句话概括:文本与图像用两套独立权重的 transformer,但在注意力里把两条序列拼在一起做联合注意力。论文的原话是:这与”为每个模态各有一个独立的 transformer”等价,差别只在于把两个模态的序列在注意力操作处合并,使得两种表示既能在各自空间工作,又能互相看到对方。
用形式写出来,设图像 token 序列为 X∈Rn×d,文本 token 序列为 C∈RL×d,第 ℓ 层:
X^QXQCA[X′;C′]=LN(X),C^=LN(C)=WQxX^,KX=WKxX^,VX=WVxX^=WQcC^,KC=WKcC^,VC=WVcC^=softmax(d[QX;QC][KX;KC]⊤)[VX;VC]=A要点在于 [QX;QC] 是把两条序列按 token 拼接成 (n+L)×d 的矩阵,[KX;KC] 同理。于是注意力的分块结构是:
[QX;QC][KX;KC]⊤=[QXKX⊤QCKX⊤QXKC⊤QCKC⊤]这个 2×2 分块矩阵的四个块各有含义:左上 QXKX⊤ 是图像 token 之间的自注意力;右下 QCKC⊤ 是文本 token 之间的自注意力;右上 QXKC⊤ 是图像位置查询文本(与 LDM 的 cross-attention 同向);左下 QCKX⊤ 是文本 token 反向查询图像——这正是 LDM 的 cross-attention 做不到的那条方向。
为什么这条反向边重要?它让文本表示在每个 block 里都能被”图像当前的状态”更新。去噪进行到不同时间步,同一个提示词的表示会被当前 latent 的状态重新解释:早期噪声大时,文本表示更多作用于全局布局;后期细节出现时,文本表示可以被局部状态修正。这条双向边是 MMDiT 与”cross-attention 注入”的结构性区别,也是它表达能力更强的直接来源。
代价是计算量:联合注意力的序列长度从 n 变成 n+L,自注意力的 O((n+L)2) 相对 O(n2) 增加了 2nL+L2 项。在 SD3 的配置下,L=154、n=4096(1024 分辨率、f=8、patch 2 时为 64×64=4096),2nL≈1.3×106,相对 n2≈1.7×107 的增量不到一成。但当文本序列变长时,这一项会明显上升:Flux 的 T5 分支最长 512 token,若按 L=512、n=4096 计算,2nL≈4.2×106,增量超过两成。这正是后文要讨论的”高分辨率 + 长提示词”场景里,联合注意力成本开始压过其他项的原因。
下图是 SD3 论文 Figure 2,(a) 是整体组件,(b) 是单个 MM-DiT block。

左半部分 (a) 展示了三条输入:最上方的 Noised Latent 经 Patching(2×2 patch)和位置编码进入图像流;右侧 CLIP-G/14、CLIP-L/14、T5 XXL 三个文本编码器分别产生 token 序列(T5 输出 4096 通道,CLIP 的两路输出在通道上拼接)和池化向量。注意图像流与文本流各有一条独立的线性投影,进入 4096 通道的公共空间后,再用 ⊙ 拼接成一条联合序列进入 MM-DiT 堆叠。
右半部分 (b) 是单个 block 的内部:文本流与图像流各有一组 layernorm 和调制参数 (αc,βc) 与 (αx,βx),先把条件和时间步调制进各自流中,再做联合注意力,然后各自过 MLP,再做一次由 (δc,ϵc)、(δx,ϵx) 控制的调制与残差。整个 block 里没有任何 cross-attention 层——文本信息完全通过”共享注意力”这一条边流动。
图注里还提到一个训练稳定性的细节:在 Q、K 上可选的 RMS-Norm 能防止注意力 logit 增长导致的不稳定。论文 Figure 5 给出过在 bf16 混合精度下,加了 QK-normalization 之后 logit 不再爆炸。这与推理侧有关:在低精度推理时,注意力 logit 的数值范围会直接影响是否需要回退到更高精度。可参考站内对 浮点数与数值稳定性:从 IEEE 754 到 FP8 的 LLM 精度世界 的讨论。
三条通路的对比
| 维度 | LDM cross-attention | DiT adaLN-Zero | MMDiT 双流 |
|---|---|---|---|
| 文本在哪进入 | 部分层的额外注意力层 | 每个 block 的调制参数 | 每个 block 的共享注意力 |
| 文本粒度 | token 序列 | 池化向量 | token 序列 |
| 信息流方向 | 图像查文本 | 全局调制 | 图像查文本 + 文本查图像 |
| 额外计算 | O(n⋅L) | 可忽略 | O((n+L)2) |
| 参数 | 额外的 Q/K/V 投影 | 额外 MLP | 两套完整权重 |
这张表解释了 SD1.x/2.x 与 SD3/Flux 这一代模型之间的结构代差。前者是 U-Net + cross-attention,后者是 transformer + 联合注意力,两者的推理成本结构、分辨率扩展能力、条件遵循质量都不同。
第四层:classifier-free guidance 在推理时做了什么
条件扩散模型有一个反直觉的性质:即使网络已经见过 (zt,t,c),直接按条件采样得到的样本往往”条件不够强”——提示词里的细节被平均掉了。classifier-free guidance(CFG)是解决这个问题的标准手段,由 Ho 与 Salimans 在 2022 年的论文 Classifier-Free Diffusion Guidance 中提出。
公式与两种等价写法
训练时以一定概率把条件 c 丢弃(替换为空条件 ∅),让同一个网络同时学会条件与无条件两种预测。推理时把两者组合:
ε~θ(zt,t,c)=εθ(zt,t,∅)+s(εθ(zt,t,c)−εθ(zt,t,∅))其中 s 是 guidance scale。s=1 时退化为纯条件预测;s>1 时把”条件方向”的差异放大。论文原文的写法用权重 w:ε~=(1+w)εθ(z,c)−wεθ(z,∅),与上式在 s=1+w 时完全等价。工程实现里两种参数化都常见,读配置文件时必须确认用的是哪一个,否则 guidance 7 与 guidance 8 的差别可能只是记号不同。
分数视角:它等价于一个隐式分类器
第一篇讲过加噪分布的分数与噪声预测的关系:
∇zlogpt(zt)=−σtεθ(zt,t)把 CFG 的组合代进去,忽略公共的 1/σt 因子:
∇logp~t(zt∣c)=∇logpt(zt)+s(∇logpt(zt∣c)−∇logpt(zt))右边可以整理成:
∇logp~t(zt∣c)=∇logpt(zt∣c)+(s−1)(∇logpt(zt∣c)−∇logpt(zt))第二项正是 ∇logp(c∣zt) 的贝叶斯分解形式(差一个常数):∇logp(zt∣c)−∇logp(zt)=∇logp(c∣zt)。所以 CFG 等价于在条件分数上叠加了一个”隐式分类器”的梯度,s−1 就是这个分类器的强度。s 越大,采样越倾向”判别器认为最像该提示词”的区域。
这个解释带来两个推论。第一,s 过大时,采样会跑到训练分布之外——隐式分类器的梯度在没有数据支撑的区域没有约束,样本出现过度饱和、纹理崩坏。第二,CFG 不需要额外训练分类器,代价全部转移到推理时的两次前向。
成本:每步两次前向,但有批处理空间
CFG 的直接成本是每个采样步要跑两次主干:一次条件、一次无条件。设主干单次前向耗时为 Tfwd、采样步数为 N,则主干总耗时从 N⋅Tfwd 变成 2N⋅Tfwd。
工程上常见的优化是把条件与无条件拼成一个 batch=2 的批次,一次 kernel 启动同时算两条。这不会减少 FLOPs,但能把 batch=1 时闲置的算力用起来。在小分辨率、小 batch 的服务里,batch=2 往往比两次单独前向快得多,因为 GPU 的利用率提高了;在大 batch 场景里,这个合并就退化为”batch 翻倍”,收益有限。
negative prompt 与 CFG rescale
负面提示词是 CFG 的直接应用:把空条件 ∅ 的嵌入替换成负面提示词的文本嵌入,于是”远离负面描述”变成”朝负面描述的反方向放大”。它在数学上没有引入新东西,只是把 εθ(z,∅) 换成了 εθ(z,cneg)。
CFG 的另一个工程问题是数值饱和。高 guidance 下,采样轨迹的方差会急剧变化,部分像素被推到 [−1,1] 之外,解码后出现过曝或色块。常见的补救是 CFG rescale:每一步算出条件分支输出的标准差,再用它把 CFG 结果缩放回条件分支的尺度:
zcfg←zcfg⋅std(zcfg)std(zcond)这一做法在 Common Diffusion Noise Schedules and Sample Steps are Flawed 中被系统讨论,论文同时指出训练与采样用的噪声日程不一致时,高 guidance 的问题会更严重。
只在中段用 CFG
后来的一项观察是:CFG 并不是每一步都有益。去噪早期决定全局布局、后期决定细节,中间一段才是”条件对齐”最需要放大的区间。Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models 把 CFG 限制在一个中间时间区间内,结果是在同样甚至更高的 guidance 下,样本质量与分布覆盖都更好。
从成本角度看,这条结论意味着 2N 次前向可以压缩成 N+k 次(k 是启用 CFG 的步数)。当 k≪N 时,CFG 的额外成本接近于零。一些实现把它暴露为 guidance_interval 之类的参数,与 guidance scale 一起决定每步是否走双分支。
guidance 蒸馏:把 CFG 的收益写进权重
CFG 的两次前向始终是纯推理开销。把它消掉的思路是 guidance distillation:训练一个学生网络,输入里带上 guidance 标量,直接回归教师网络在 CFG 下的输出。学生网络每步只需一次前向,就得到原本需要两次前向的结果。
Flux.1-dev 采用了这一机制,它的 guidance_embeds=True 就是对应的实现开关;Flux.1-schnell 更进一步把采样步数也蒸到 1–4 步。代价是 guidance 的可调范围被限制在学生见过的区间内,超出范围后质量会掉得比标准 CFG 更快——这是”把自由度换成速度”的典型交换。
第五层:Flux 的双流—单流混合与 guidance 蒸馏
SD3 的 MMDiT 在全部 d 个 block 里都保持两条序列;Flux.1 把这一结构推进一步:前若干层用双流(图像与文本各走一套权重、共享注意力),后若干层把两条序列拼接成一条单流(图像与文本共享同一套权重)。这一细节可以在 Hugging Face diffusers 的 transformer_flux.py 里直接读到:num_layers 默认 19 对应双流 block,num_single_layers 默认 38 对应单流 block,attention_head_dim 128,文本投影 joint_attention_dim 为 4096。
双流与单流的计算账
设单流 block 的注意力序列长度为 n+L,每层注意力的矩阵是 (n+L)2。双流 block 做的是同样的联合注意力,矩阵大小同样是 (n+L)2,但双流 block 里图像与文本各自有一套 Q/K/V 投影和 MLP,参数量约为单流 block 的两倍。换句话说,双流与单流的注意力开销相同,参数与逐 token 的 FFN 开销不同。
Flux 选择”前双流、后单流”的理由来自信息流的方向:去噪早期,文本与图像在表示上差异很大,需要各自的空间先工作再交互;去噪后期,二者都需要高频细节的联合建模,共享权重的单流更省参数。从参数分配看,19 个双流 block(每个含两套权重)与 38 个单流 block 大致各占主干的一半,而文本编码器(T5-XXL 约 4.7B)与 VAE 是另外加载的模块。
从推理工程角度看,单流化的收益不只是参数:单流 block 里文本与图像在同一个序列上做注意力和 FFN,等价于把 MMDiT 的 2×2 分块注意力合并成一次普通自注意力调用,kernel 实现上少了一次分支、少了一次拼接。对 CUDA 实现来说,这更容易融合成一个 FlashAttention 调用。
位置编码:三维 RoPE 与 txt_ids / img_ids
Flux 使用的不是可学习或正弦位置编码,而是三维旋转位置编码(RoPE)。源码中 axes_dims_rope 默认 (16, 56, 56),三个轴分别对应”帧/类型、行、列”。推理时文本的 txt_ids 全为零,图像的 img_ids 由 (0,row,col) 的二维网格生成,二者拼接后一次性做旋转位置编码:
1ids = torch.cat((txt_ids, img_ids), dim=0)2image_rotary_emb = self.pos_embed(ids)这个设计让文本 token 在位置空间中聚在原点,图像 token 按二维网格铺开,两类 token 的相对位置由坐标直接表达。好处是换宽高比时只需要改 img_ids 的网格,不需要任何权重重训;这与 SD3 使用的二维位置编码在思路上一致,只是实现形式不同。
guidance 蒸馏在模型结构里的落点
上一节讲了 guidance 蒸馏的动机,Flux.1-dev 把它做成了模型结构的一部分。diffusers 源码里 guidance_embeds=True 的变体会在时间步嵌入之外,再把 guidance 标量一起注入 time_text_embed:
1temb = (2 self.time_text_embed(timestep, pooled_projections)3 if guidance is None4 else self.time_text_embed(timestep, guidance, pooled_projections)5)这意味着 guidance 从”推理时的线性组合系数”变成了”网络的一个输入条件”。推理时把目标 guidance 值作为标量输入,一次前向就完成原本需要条件、无条件两次前向再组合的计算。代价是 guidance 范围被限制在训练时见过的区间内,超出范围的质量会退化;Flux.1-schnell 这类蒸馏变体进一步把步数压到个位数,但同样限制了 guidance 的可调空间。
第六层:从 DDIM 到 rectified flow 的采样器
第一篇讲过 DDIM 与 Flow Matching 的训练目标,这里只讲推理时怎么把轨迹积分出来,以及为什么 SD3/Flux 这一代模型能在二三十步内出图。
rectified flow 的 ODE 与 Euler 步
SD3 采用 rectified flow 的参数化:设数据 x0、噪声 ϵ∼N(0,I),定义插值
zt=(1−t)x0+tϵ,t∈[0,1]t=0 是数据,t=1 是纯噪声。对 t 求导得到条件速度:
dtdzt=ϵ−x0训练目标就是让网络 vθ(zt,t) 回归这个速度。推理时从 z1=ϵ 出发,解反向 ODE:
dtdzt=vθ(zt,t),z1→z0最简单的离散化是 Euler 法。设步长 Δ,从 t=1 往 t=0 走:
zt−Δ=zt−Δvθ(zt,t)这与 DDIM 的确定性更新在形式上很像:都是”用当前预测走一步”,区别在于 DDIM 的步长由噪声日程的 αt,σt 决定,而 rectified flow 的步长就是时间轴上的等距网格。第一篇讲过直线轨迹的几何意义——如果速度场在整条路径上近似常量,Euler 一步就能走很远;如果轨迹弯曲,步长必须缩小。rectified flow 的设计目标就是把轨迹拉直,从而允许大步长。
sigma shift:分辨率变了,噪声日程也要变
一个容易被忽略的问题是:训练时用的时间步网格,和推理时的分辨率不匹配。SD3 论文指出,图像分辨率越高,同样的 t 对应的”每像素不确定性”越小。论文用信噪比的尺度推导出:若把 t 看作高斯噪声与数据的混合比例,则 n 个像素平均后的噪声标准差按 1/n 缩小。于是把一个分辨率 n 下的时间步 tn 映射到分辨率 m 下的等效时间步 tm,要求两者不确定性相同:
σ(t,n)=1−ttn1令 σ(tn,n)=σ(tm,m),解出:
tm=1+(nm−1)tnnmtn这就是 timestep shifting(也叫 resolution shift / sigma shift)的公式。m/n 是像素数之比;从 512² 换到 1024² 时 m/n=4,映射后中段的时间步被往高噪声方向推,采样器在早期多走几步、后期少走几步。工程实现里通常把这个比例写成一个可调参数 shift,形式与上式一致:σ′=1+(s−1)σsσ。
下图是 SD3 论文 Figure 6,展示不同 shift 下的人类偏好评分,以及同一模型在 m/n=1 与 m/n=3 时的采样结果对比。

图上方的折线是不同 shift 值下的人类偏好评分,横轴是采样进度,纵轴是偏好分数;下方两组图是同一个模型在 m/n=1.0(上)与 m/n=3.0(下)时的结果。读法很直接:不 shift 时,高分辨率采样会过早进入”细节阶段”,画面结构还没定型就开始抠纹理,出现重复纹理或构图崩坏;shift 之后,早期阶段被拉长,结构先定、细节后补,偏好评分明显上升。
这一条对推理服务的意义是:分辨率、宽高比、shift 三个参数必须一起调。把 1024 的模型直接拿去做 2K 生成而不改 shift,通常不是”效果差一点”,而是明显劣化。
步数、求解器与蒸馏
Euler 是一阶方法,误差与步长同阶。二阶方法(Heun、midpoint)每步要两次网络评估,理论上前者可以用一半步数达到同等精度,但实际在扩散模型上收益有限,因为速度场在低噪声端变化很快,二阶校正的增益被数值噪声抵消。
SD3 论文 Figure 3 比较了 rectified flow 与其他参数化在少步数下的表现,结论是 rectified flow 在少步采样区间更稳。实践中的典型配置是 20–30 步 Euler;Flux.1-dev 常用 20–28 步;蒸馏变体(LCM、Turbo、Flux.1-schnell)能压到 1–8 步,代价是多样性下降、guidance 可调范围变窄。
从系统角度看,步数是最好调的旋钮:它直接线性影响主干耗时,而质量曲线在 20 步之后通常已经平坦。一个服务如果要在延迟与质量之间做取舍,优先调步数与分辨率,而不是去动模型结构。
一次图像生成请求的成本账
把前面的结构拼起来,一次文生图请求可以拆成四个串行阶段:文本编码 → 主干去噪 → VAE 解码 → 后处理。每个阶段的成本量纲不同,优化手段也不同。
主干的 FLOPs 估算
设主干有 D 个 block、隐藏维度 d、图像 token 数 n、文本 token 数 L、批大小 B。单个 block 每个 token 的乘加次数近似为:
Cblock≈QKV+O+MLP12d2+注意力矩阵2(n+L)d第一项是四个 d×d 投影(Q、K、V、输出)加上两层 d→4d→d 的 MLP,合计约 4d2+8d2=12d2 次乘加。第二项是每个 token 与全部 n+L 个 token 做一次点积、再加权求和,两次矩阵乘各 d 次乘加。单次前向的总乘加约为:
Cfwd≈B(n+L)D[12d2+2(n+L)d]以 SD3 的 8B 模型为例:隐藏维度按论文的 dmodel=64×depth 参数化,depth 38 对应 d=2432;1024×1024 输入经 16 通道 VAE(f=8)得到 128×128 latent,patch 2 后 n=4096;文本序列 L=154;block 数 D=38。代入:
Cfwd≈4250×38×[12×24322+2×4250×2432]≈4250×38×(7.1×107+2.1×107)≈4250×38×9.2×107≈1.5×1013 MAC换算成 FLOPs(1 MAC = 2 FLOPs)约 3.0×1013,即 30 TFLOPs 一次前向。若用标准 CFG(每步两次前向)、28 步,总计算量约:
2×28×3.0×1013≈1.7×1015 FLOPs在 H100 上,BF16 稠密算力的峰值约 989 TFLOPS,实际大模型推理的 MFU 常在 30%–45%,取 40% 约 400 TFLOPS,对应约 4.2 秒。这个量级与公开的 SD3 8B 推理延迟吻合。若换成 guidance 蒸馏(每步一次前向),同一配置降到约 2 秒——这就是上一节说”蒸馏把前向次数减半”的具体数字。
各阶段的成本量级
| 阶段 | 计算量级 | 显存特征 | 优化手段 |
|---|---|---|---|
| 文本编码 | 数 TFLOPs(T5-XXL 占大头) | 权重常驻 9–10 GB(bf16) | 缓存 prompt 嵌入、独立部署、与主干流水 |
| 主干去噪 | 数十 TFLOPs × 步数 × CFG | 激活随 token 数增长 | FP8、步数、guidance 蒸馏、序列并行 |
| VAE 解码 | 数百 GFLOPs,但显存峰值高 | 输出分辨率决定峰值 | 分块解码(tiling)、fp16 |
| 后处理 | 可忽略 | 可忽略 | 异步 |
文本编码的成本有个容易误判的地方:T5-XXL 的参数量比很多扩散主干还大,单次前向的 FLOPs 却远小于主干(序列只有几百 token)。因此它在吞吐上不构成瓶颈,但它的权重常驻显存很贵。生产系统常把文本编码器单独放在一张卡上,或按提示词缓存嵌入,避免每个请求都重新加载。
VAE 解码的 FLOPs 不大,但它是显存峰值点:解码器要把 128×128×16 的 latent 一次性放大 8 倍到 1024×1024×3,中间特征图的通道数在几十到几百之间。分块解码把图像切成带重叠的 tile 逐块解码再拼接,能显著降低峰值显存,代价是 tile 边界可能出现轻微接缝,需要重叠与加权融合。
服务侧的三个现实约束
分辨率是成本的主要变量。token 数随像素数线性增长,注意力随 token 数平方增长。把 1024 换成 2048,token 数从 4096 涨到 16384,注意力的矩阵元素涨 16 倍。单头、bf16 下 163842 的注意力矩阵约 0.5 GB,按二十多个头展开就是十几 GB 量级,还没算激活与中间结果。这就是高分辨率生成必须用序列并行/上下文并行的原因:把序列切到多卡,用环形或 all-gather 方式交换 KV。
请求之间可以批处理,但批的构成很挑剔。同一 batch 内分辨率不同会导致 padding 浪费,工程上按分辨率与宽高比分桶(bucketing),同桶请求一起跑。文本长度差异影响较小,因为文本 token 在总序列里占比低。
扩散没有 KV 缓存可复用。自回归推理可以缓存历史 token 的 KV,而扩散每一步的输入 latent 都在变,步与步之间没有可直接复用的 KV。能复用的是更粗粒度的东西:提示词嵌入、固定随机种子下的初始噪声、以及某些跨步特征缓存(如 DeepCache 一类方法复用浅层特征)。这决定了扩散服务的优化重心与 LLM 服务完全不同——后者是”显存带宽与 KV 管理”,前者是”FLOPs 与步数”。
模型规模对照
| 模型 | latent | 文本编码器 | 主干 | 1024 图像 token | guidance | 典型步数 |
|---|---|---|---|---|---|---|
| SD1.5 | 4ch, f=8 | CLIP ViT-L/14, 77 | U-Net 0.86B | 卷积,非 token 化 | 标准 CFG | 20–50 |
| SDXL | 4ch, f=8 | CLIP-L + OpenCLIP bigG, 77+77 | U-Net 2.6B | 卷积,非 token 化 | 标准 CFG | 25–40 |
| SD3 Medium | 16ch, f=8 | CLIP-L + CLIP-G + T5-XXL | MMDiT 2B | 4096 | 标准 CFG | 20–30 |
| SD3 Large | 16ch, f=8 | 同上 | MMDiT 8B | 4096 | 标准 CFG | 20–30 |
| Flux.1-dev | 16ch, f=8 | CLIP-L + T5-XXL(最长 512) | 混合 MMDiT 12B | 4096 | guidance 蒸馏 | 20–28 |
这张表里 SD1.5/SDXL 的”U-Net 非 token 化”不是笔误:它们的 latent 由卷积主干处理,代价随空间尺寸增长但仍保持卷积的局部性,不像 transformer 那样有全局注意力的平方项。这也是为什么 SD1.5 在 512 上能跑得很轻,而 SD3/Flux 在 1024 上必须认真做并行与量化。
与站内其他扩散工作的衔接
这个系列的前三篇已经覆盖了”连续扩散的数学—离散扩散的数学—dLLM 的系统”,本篇补上了”连续扩散的工程结构”。把这四层放在一起看,站内此前的几篇扩散推理文章也都能找到对应的位置:
- 扩散模型从零讲起(一):从 DDPM 的加噪/去噪到 DiT 与 Flow Matching 推导了本篇所有采样器背后的训练目标:DDIM 的确定性轨迹、Flow Matching 的直线路径、adaLN-Zero 的调制形式都在第一篇里有完整推导。
- 扩散模型从零讲起(二):掩码离散扩散——把 DDPM 搬到 token 序列上 讨论的是 dLLM 的”块并行”,本篇的”步数—质量”权衡在离散侧对应”块内轮数”。
- 扩散模型从零讲起(三):dLLM 推理系统——dInfer、Fast-dLLM 与真实硬件上的服务设计 讨论的缓存与调度问题,在本篇的连续侧对应”无 KV 可复用 + 分辨率分桶”这两个约束。
- 动作条件世界模型完全拆解:当视频生成模型学会同时输出动作 是视频扩散的案例。视频的 token 数等于帧数乘以每帧 token 数,本篇的 token 成本公式直接适用于它,只是 n 被放大了几十倍。
- DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速 把扩散块当作投机解码的草稿器,用的是离散掩码扩散,本篇的 CFG 与 guidance 蒸馏在它那里对应”草稿器是否需要条件引导”。
这五篇合起来覆盖了扩散的两条主干:连续侧(DiT/MMDiT/Flux,图像与视频)与离散侧(dLLM,文本)。两者的采样器、缓存策略、调度方式都不同,但共享同一套”从噪声到数据”的数学骨架。
局限与未解决的问题
潜空间扩散 + MMDiT 的结构在 2024–2026 年成为图像生成的默认范式,但它不是没有代价的:
- VAE 是质量上限的隐性约束。扩散主干生成的是 latent,最终画质由解码器决定。VAE 训练时的重建损失偏向感知指标,细小文字、手指、网格纹理这类高频结构常在解码阶段丢失或被平滑。换更强的 VAE 会抬高主干的建模难度(通道数增加),这是”感知压缩率”与”主干容量”之间的持续拉锯。
- CFG 与蒸馏之间的自由度交换。guidance 蒸馏让推理更快,但把 guidance 的可调范围锁死;标准 CFG 灵活,但每步两次前向。生产系统常在这两者之间做混合:用蒸馏模型做默认路径,超范围需求回退到标准 CFG。
- 分辨率的扩展不是线性的。token 数的增长让注意力变成瓶颈,序列并行、上下文并行、稀疏注意力都在被引入图像生成,但它们与自回归 LLM 那边的优化不是同一套:图像 token 是二维的、没有因果结构,稀疏模式必须由空间先验或内容动态决定。
- 文本编码器的长尾成本。T5-XXL 这类长序列编码器对复杂提示词(排版、多物体、精确指代)很重要,但它的权重常驻显存与加载延迟让服务部署更复杂。用更小编码器换容量,往往在组合性提示词上退化最明显。
- 多模态联合注意力的成本还未见天花板。MMDiT 的联合注意力在 n+L 上平方增长,当图像 token 到 16K 量级时,注意力成为绝对主导项;Flux 的单流化,以及后续一些工作尝试的 KV 共享与线性注意力变体,都在试图缓解这一点,但都没有像 LLM 的 PagedAttention 那样形成统一范式。
小结
本篇把连续扩散从数学推到了系统层:
- 潜空间扩散把建模对象从 512×512×3 的像素压成 64×64×4 的 latent,元素数下降约 50 倍,注意力元素下降三个数量级;代价是多了一条”编码—解码”的一次性成本。
- VAE 的核心不是压缩率,而是让 latent 的分布对齐标准正态。KL 正则与缩放因子保证扩散主干的噪声日程在所有模型上都能沿用同一套设定;通道数决定”压缩率与主干容量”的分配。
- 条件注入有三条通路:cross-attention 是图像查文本的单向边,adaLN 是全局仿射调制,MMDiT 的联合注意力同时包含图像查文本与文本查图像两个方向。MMDiT 的反向边是它区别于前两者的结构优势,代价是 O((n+L)2) 的注意力开销。
- Flux 把 MMDiT 拆成前双流、后单流,单流化在注意力开销不变的前提下省掉一半的逐 token 权重;三维 RoPE 与
txt_ids/img_ids让任意宽高比共用一套权重。 - CFG 等价于在条件分数上叠加隐式分类器,s−1 是其强度;标准实现每步两次前向,负面提示词只是替换无条件嵌入;CFG rescale 与”只在中间区间用 CFG”是两种抵消高 guidance 劣化的手段;guidance 蒸馏把两次前向压成一次。
- rectified flow 用直线轨迹换大步长,Euler 离散化配合 sigma shift 处理分辨率变化;步数是延迟与质量之间最好调的旋钮。
- 一次请求的成本可以拆成”文本编码 + 主干 × 步数 × CFG + VAE 解码 + 后处理”,主干是 FLOPs 主导、VAE 是显存峰值、文本编码器是常驻显存的主力;扩散服务没有 KV 缓存可复用,优化重心与 LLM 服务完全不同。
这个系列到这一篇已经走完了”连续扩散的数学—离散扩散的数学—离散扩散的系统—连续扩散的结构”四条线。后续如果继续扩展,最有价值的方向是两端的结合处:图像扩散的序列并行与稀疏注意力如何复用 LLM 推理系统的经验,以及视频扩散中时空注意力的成本结构。
参考资料
- High-Resolution Image Synthesis with Latent Diffusion Models
- Scaling Rectified Flow Transformers for High-Resolution Image Synthesis
- Classifier-Free Diffusion Guidance
- Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models
- Common Diffusion Noise Schedules and Sample Steps are Flawed
- Flow Matching for Generative Modeling
- Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow
- SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
- DeepCache: Accelerating Diffusion Models for Free
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5)
- Learning Transferable Visual Models From Natural Language Supervision (CLIP)
- diffusers: transformer_flux.py
图片来源:LDM 的 Figure 2、Figure 3 取自 Rombach 等人的 LDM 论文,SD3 的 Figure 2、Figure 6 取自 Esser 等人的 SD3 论文。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



