正在获取所在地区…
正在读取天气
音乐
暂未播放
扩散模型从零讲起(二十):基础总览与架构地图——十九篇之后,每一块知识在体系里站在哪里
写在前面:为什么要在一系列讲完之后再做一张地图
「扩散模型从零讲起」这条线从 DDPM 的两条高斯链开始,一路写到了一次 txt2img 请求在服务系统里的完整链路,前后共十九篇。单看每一篇,它们回答的都是一个具体问题:前向过程怎么定义、DDPM 的简化损失为什么能去噪、DDIM 怎么把随机链变成确定性轨迹、DiT 的 adaLN-Zero 调制了什么、掩码离散扩散怎么把 DDPM 搬到词表上、块并行解码凭什么能把 L 步压成 L/b 轮、DPM-Solver 为什么二十步就够、CFG 的分数机制长什么样、文本编码器的 77 token 上限从哪来。
但把十九篇合在一起看,有个很自然的困惑:这些模块彼此是什么关系? 同样是”扩散模型”,DDPM 论文里的 U-Net、Stable Diffusion 里的潜空间 U-Net、Flux 里的 MMDiT、LLaDA 里的双向 Transformer,彼此只共享”多步去噪”这一条大骨架,其余从输入表示到条件注入到采样器全都不同。如果只是把每篇的结论背下来,遇到一个陌生模型(比如某个新发布的可交互视频生成器,或者一个离散扩散语言模型),就很难迅速判断它属于哪条支路、它的成本结构长什么样、它的推理实现应该复用哪一套手段。
这一篇不再引入新的技术,而是做一件在系列收尾阶段有明确价值的事:把前十九篇拆过的模块,重新组织成一张有分层、有依赖、有主次的架构地图。它会指出每一层的”职责边界”、层与层之间的接口是什么、哪些层是扩散模型独有的、哪些层是借用自别的领域(Transformer、VAE、数值积分器),以及这些层之间的依赖怎么决定一个模型在某类硬件上的成本分布。对已经读过各篇的人来说,这是一次重新结构化;对刚接触扩散模型、想先建立整体轮廓的人来说,这张地图也给出了后续深入阅读的路线。
需要先说明地图覆盖的边界:这里讨论的全部内容都围绕推理与生成——模型怎么把噪声变成样本、条件怎么进来、采样怎么走完、在机器上要花多少时间。训练只在理解模型行为时提及。离散语言模型的服务系统(缓存失效、调度、硬件特征)属于系统侧,本篇只在”成本结构”一节把它作为一条支路点出来,不展开。
一、地图的骨架:四个横切层次
如果把十九篇的内容按”模型在推理时到底要经过哪些东西”来切,可以得到四个横切层次。它们不是论文里的章节划分,而是从一次前向计算的角度看过去,任何扩散模型都会依次穿过的东西:
- 表示层:状态在什么空间里——像素、潜变量、离散 token,还是结构化隐空间。
- 主干层:哪一种网络把状态变成预测——U-Net、DiT、MMDiT、双向 Transformer,或者非 Transformer 主干。
- 条件层:条件怎么进入主干——交叉注意力、adaLN 调制、双流拼接、控制适配器。
- 采样层:把主干跑多少遍、以什么顺序跑、用什么积分器——DDPM 的随机链、DDIM 的 ODE、Flow Matching 的直线路径、DPM-Solver、蒸馏后的少步采样,以及 dLLM 的块并行解码。
四层是横切的,也就是说每篇具体工作都会同时落在四层上,只不过不同工作关注不同的层。比如 DiT 论文重点在主干层与条件层;DPM-Solver 重点在采样层;潜空间扩散重点在表示层;Fast-dLLM 重点在采样层的离散版本。把十九篇铺在四层上,脉络会立刻清楚:系列前半是以采样层为主线的数学展开,中间转到表示层与主干层,后半转到条件层与系统工程。

上图来自 Flow Matching 论文,用二维可视化呈现了”从噪声分布到数据分布的最优传输”这件事。它之所以适合放在整张地图的开头,是因为四层结构最终都服务于同一个目标:把初始分布里的样本,沿某条轨迹搬进数据分布。表示层决定”样本长什么样”、主干层决定”往哪搬”、条件层决定”往哪个子分布搬”、采样层决定”用多少步、以什么方式搬”。理解了这条主线,四层的分工就自然了。
下面逐层展开。每一层先给职责,再给这一层在十九篇里都讲过什么、彼此怎么衔接,最后指出这一层的”自由度”来自哪里——也就是这一层中哪些设计选择会相互影响。
二、表示层:扩散模型在什么空间里做决定
表示层回答的问题
扩散模型从一颗噪声开始,每一步都要让样本”更接近数据”。但”更接近数据”这个标准,取决于样本本身被表示成什么。表示层的职责就是回答三件事:
- 状态的形状:一个样本是 H×W×3 的像素张量、h×w×c 的潜张量、长度为 L 的 token 序列,还是一组结构化隐变量(比如 3D 生成里的稀疏体素或高斯泼溅参数);
- 噪声的尺度与格式:是连续的加性高斯噪声,还是在词表上做替换的离散噪声;
- 去噪结果的映射回:去噪完成后,怎么把状态变回可用的输出——像素解码、token 解码、还是几何重建。
连续表示的三代
像素表示是最原始的一代。DDPM 原文直接在 32×32 与 256×256 像素上做扩散,状态就是一幅完整的图像张量。优点是整个映射是恒等的,不需要额外的编解码;缺点是推理成本与像素分辨率成正比,1024×1024 的图像一次前向就要处理 300 万像素维度,采样 50 步是笔巨额开销。
潜空间表示是第二代,也是当前图像与视频生成的默认选择。潜空间扩散用一个预训练的 VAE 把图像压到 8 倍下采样的潜张量,主干在潜空间里去噪,最后再用 VAE 解码端还原到像素。这样主干处理的 token 数直接降低到约 1/64,采样成本大幅下降,代价是多挂了一个编码器与解码器,以及 VAE 重建本身引入的细节损失。系列里讲潜空间扩散的那一篇已经把三个成本因素拆清楚:压缩倍率决定主干的计算量、VAE 解码本身又是固定的大头(1024×1024 图像上单次解码可占数百毫秒)、潜尺度缩放系数与 sigma shift 决定不同分辨率下噪声日程要不要统一。
结构化隐空间是第三代,出现在 3D 生成里。直接把体素或点云当作状态,“压缩”不再是二维图像的下采样,而是把场景组织成稀疏体素网格或一组可学习的高斯泼溅参数。这一路的好处是状态形状与输出几何对齐,坏处是目前还没有一个像 VAE 那样成熟、通用的”3D 编码器”。

上图是 U-Net 的原始架构,收缩路径逐级下采样、扩张路径逐级上采样,同分辨率的层之间用跳跃连接把编码器特征直接送给解码器。把它挪到潜空间扩散里使用时,主干处理的不再是像素而是 VAE 输出的潜张量;文本条件也不是从一开始就拼进输入,而是在每个注意力块里通过交叉注意力”按需注入”,最后再上采样回潜张量,交给 VAE 解码端。这张图把表示层与主干层、条件层之间的边界同时画了出来:表示层决定了进入主干的张量形状与压缩倍率,主干层负责在这一形状上做预测,条件层则在主干内部”搭梯子”往进送条件。
离散表示:状态是词表上的分布
离散扩散把状态换成词表上的序列。这时”加噪”不再是把高斯噪声加到实数向量上,而是按某个日程把 token 替换成特殊符号 [MASK](吸收态掩码扩散),或者按转移矩阵替换成其他 token(D3PM、SEDD)。“去噪”变成在给定部分可见序列的条件下,预测每个被破坏位置的原始 token。
表示层的这一代有一个根本差异:离散状态没有”幅度”的概念。连续扩散里,高噪声端输入的动态范围极大,因此需要 EDM 那种在不同噪声区段切换参数化的技巧;离散扩散里,被掩码的位置一律是特殊符号,输入幅度恒定,但代价是”破坏程度”只能以被掩码比例表达,所有位置的时间步被强行对齐。这个差异直接引出了两个结果:一是离散模型不需要像 EDM 那样重参数化,二是它的采样序列里”第几轮”和”还有多少位置被掩码”不再是同义词,每个位置可以有自己的可见状态——这一点在块并行解码与重掩码时会反复出现。

上图来自 LLaDA 论文,把离散表示层的两个过程画在一起。左侧是训练:对整条序列的每个 token 独立地做掩码,掩码比例从一个均匀分布采样,所以同一个 batch 里既有轻度破坏的样本也有高度破坏的样本。右侧是采样:从全部响应都被掩码开始,每一步把所有掩码位置的预测一次性算出来,再用重掩码策略决定哪些被采纳、哪些被推迟。这张图之后再看前一篇里”为什么掩码扩散天然是双向的”,就会明白原因:训练目标对生成顺序没有任何假设,所以表示层在推理时才有按置信度重排顺序的自由。
表示层的自由度在哪里
表示层的选择不是孤立的。它至少牵动三件事:
- 主干的 token 数与注意力复杂度。潜空间把 1024×1024 的像素压成约 128×128 的潜张量,主干注意力从 O((106)2) 降到 O((1.6×104)2),量级相差数千倍。表示层一换,主干的设计空间就跟着换;
- 噪声日程的表示方式。连续扩散希望噪声日程在”噪声水平”空间里均匀取点;离散扩散的日程则是”被掩码比例”,两者在数学形式上是同一个东西的两种投影,但实际实现里离散日程通常还要叠加一个”块内逐步解开”的二级日程;
- 解码成本。潜空间表示把解码单独拆成一个固定成本项(VAE 解码),连续像素表示没有这一项,离散表示则只有 token 解码(通常微不足道)。这个固定成本项在后来的系统工程里被单独优化,比如与下一请求的采样重叠、或者用分块解码摊薄峰值显存。
三、主干层:哪一种网络做预测
主干层是扩散模型里最”看起来像别的领域”的一层。无论哪种扩散模型,它真正训练出来的东西都可以写成同一个形式:
fθ(xt,t,c)≈(去噪方向)这里的 xt 是当前状态,t 是噪声水平,c 是条件。主干层要做的事,就是把这三者变成正确的输出。主干层的演进史,本质上是”如何把条件 c 与时间 t 塞进一个足够强的视觉主干”的演进史。
第一代:U-Net 与”条件怎么进卷积网络”
早期的扩散主干几乎都是 U-Net。它的结构是编码器—解码器对称的卷积网络,中间若干层包含自注意力,编码器与解码器的同尺度层之间还有跳跃连接。U-Net 对图像的局部结构非常友好,下采样—上采样的结构天然对应”先看大形状、再补细节”的过程。
问题在于条件怎么进。在 DDPM 早期,条件主要靠”把条件与采样结果拼起来”或者”在每个 block 里塞一个全局偏置”;到了 Stable Diffusion 时代,文本条件通过交叉注意力进入,每个注意力块都会让当前的图像特征去”查询”文本键值。这个设计在数学上与 Transformer 的交叉注意力完全一样,但它带来的后果是:条件注入的力度是逐层逐 block 可调的,而且文本表示会被多次读取。这在 CFG 时需要算两次前向(有条件与无条件各一次),条件层因此成为推理成本的一个重要来源。
U-Net 的第二代问题是:它对分辨率的依赖是内置的。下采样倍率固定、块数固定,要改变分辨率或 token 数,常常意味着要重新设计整个结构。这在视频、高分辨率、多模态等场景下变得不够灵活。
第二代:DiT 与 adaLN-Zero
DiT 的核心想法是用 Transformer 替换 U-Net。它继承 ViT 的做法:把潜张量切成 patch,线性映射成 token 序列,然后用标准 Transformer block 处理。但 DiT 对条件与时间步的处理非常有针对性:它不把时间与条件塞进 token 序列,而是用 adaLN-Zero——每层归一化后的缩放 γ 与偏置 β 由时间与条件的嵌入经过一个 MLP 直接算出来,而且该 MLP 的输出层初始化为零,因此训练之初整个 block 等于恒等映射。
这个设计在推理侧的后果值得单独讲。adaLN-Zero 意味着每层的主干参数不因条件而异,条件只影响一批小尺寸的调制参数。有条件的这一次前向与无条件的这一次前向,主干权重完全相同,差别只在每层重算的 γ,β。因此两条前向可以在实现上拼成 batch 为 2 的同一个调用,让 GPU 在同一个 kernel 里处理两路序列,提高利用率;但计算量本身并不会减少,CFG 依然要做两次完整前向,这是不可绕过的。

上图是 DiT 论文的架构图,可以看到三个关键接口:潜张量被切成 patch 再线性映射成 token 序列;时间步与类别条件先合成一个嵌入,经过 MLP 产生每层的 γ、β 与残差缩放 α;主干本身是标准的 Transformer block。这张图清楚地说明:主干层与条件层的接口在 DiT 里被”收敛”成一个很小的调制向量,而不是像 U-Net 那样通过交叉注意力多次读取文本表示。
第三代:MMDiT 与双流
SD3 引入的 MMDiT 把主干从”单流 + 条件调制”推进到”双流 + 联合处理”。文本 token 与图像 token 各自走一套权重与归一化,但在每个 block 的注意力里,两路 token 被拼成一个序列做联合注意力。结果是文本与图像在主干内部互相影响,而不仅仅是图像单向查询文本。
MMDiT 在推理侧的后果更复杂:它要求文本与图像 token 在同一个序列里排序(通常是”文本在前、图像在后”,有时再按 token 类型打标签),这会改变注意力的位置编码与掩码方式;跨模态联合注意力也让每层注意力要处理的 token 更长,注意力本身的成本占比上升。第七篇讲少步蒸馏时提到,当蒸馏后的 MMDiT 要跑 4~8 步时,每步前向的固定成本占了大头,注意力与 MLP 的比例是关键参数。
第四代:离散语言模型的双向 Transformer
离散扩散语言模型的主干看似是”普通 Transformer”,但有三处结构差异,每一处都直接影响推理:
- 全双向注意力。除了训练侧的改造,推理上更实质的区别是:解码时,当前被掩码的位置要同时看左侧已解出与右侧未解出的位置,所以注意力掩码不再是三角阵。这导致 KV 缓存的内容在被掩码位置上是不完整且动态变化的——有些位置已经有内容、有些还是掩码符号,缓存每一轮都要刷新其中一部分。
- 自回归初始化的 shift 操作。为了让一个 AR 预训练模型能迁移成扩散模型,训练时把每个位置的隐状态对齐到”下一个位置的标签”,这样双向注意力下的表示与 AR 语义一致。迁移效果好,但没有改变推理的本质:每轮前向仍然要算整条被掩码的序列。
- 位置与掩码的复杂关系。AR 模型的位置编码是单调增长的,扩散模型的”块内位置”与”块间位置”要分别编码,而且被掩码位置也需要位置编码——否则模型不知道”要生成的位置在哪”。

上面这张热力图来自 Fast-dLLM 论文,统计的是某个块内位置之间注意力输出的余弦相似度:对角附近相似度高、远离对角相似度低,说明远端位置对当前块的贡献在衰减。它解释了一个现象:dLLM 的注意力负载不是静态的,不像 AR 模型那样”第 i 步读前 i 个 token”。dLLM 每一轮的注意力形状都取决于这一轮还有哪些位置被掩码,这也是为什么 dLLM 的 KV 缓存不能简单沿用 AR 的做法。
主干层的第四个代际目前还在演进。原生多模态主干、非 Transformer 主干(状态空间、卷积混合)、以及把离散与连续表示统一起来的混合主干,都在主干层上做实验。系列里架构演进那一篇已经把主线(U-Net → DiT → MMDiT → 原生多模态)铺过一遍,这里不再展开,只把主干层的核心问题重新点出:条件、时间与位置如何同时进入一个统一的计算图,并且让这个计算图在推理时可以被足够便宜地运行。四代主干的区别,本质上就是这三者进入方式的区别。
四、条件层:条件怎么进来、怎么被用得合理
条件层的职责
条件层回答:模型在生成时要以什么为”约束”。它至少包括三块:
- 条件表示的来源:文本编码器、图像编码器、结构化输入(深度图、骨架、姿态)、参考图像等;
- 条件进入主干的通路:交叉注意力、调制、拼接、双流联合;
- 条件的强度控制:分类器引导、无分类器引导、引导蒸馏、负向提示词等。
条件来源:编码器的形状决定一切
文本条件来自文本编码器,而编码器设计直接决定后续推理的账。CLIP 文本塔是一个因果 Transformer,固定上下文长度(Stable Diffusion 系列是 77 token),输出 77×d 的序列;T5-XXL 是非因果编码器,支持更长上下文,但参数量巨大(4.7B 量级),Flux 这类模型把它放在文本侧,一次编码的固定开销就有数百毫秒。文本编码器不在采样循环里跑,一次请求只跑一次,所以它的成本是一次性的;但它是任何扩散 pipeline 启动时的第一个不可忽视的固定段。序列里文本编码器那一篇已经按”tokenizer → 77 上限 → 加权语法 → 组合性失败”的顺序把这部分讲完,本篇只把它在地图中的位置点清楚:条件层的最前端,一次编码,成本固定,但长度上限与缓存策略会回流影响条件注入与 CFG 的实现。
图像条件(ControlNet、T2I-Adapter、IP-Adapter)的处理则完全不同。参考图像先经过一个条件编码器(通常是 CLIP 视觉塔或卷积编码器),再进入主干。ControlNet 是把主干的一份副本拿过来,用 zero-conv 把条件编码器输出塞进副本,再让副本的输出作为主干每层的附加偏置;T2I-Adapter 不进主干,只把条件编码器的多尺度输出作为主干注意力层的附加特征;IP-Adapter 是解耦的交叉注意力,在主干里新增一个只读图像特征的注意力分支。
这三种设计在推理侧的成本结构差异值得单独提:
- ControlNet 的”副本主干” 意味着整份可训练主干要跑两遍(控制分支一次,主干一次),并且控制分支在采样循环内外都有额外计算;
- T2I-Adapter 是一组轻量的下采样—上采样卷积,通常比主干便宜一个数量级,但它只读取一次条件,不会像交叉注意力那样逐层重读条件;
- IP-Adapter 的解耦交叉注意力 基本不改变主干的形状,但每层都多一次小规模注意力,当主干本身已经很长(视频 token)时,这部分成本占比会变得可观。
条件层的一个核心矛盾是:条件进入主干的深度越深、跨层越一致,实现越复杂,成本也越高,但生成质量与可控性更好。三类适配器本质上就是这个矛盾的不同解:ControlNet 用”副本 + 多尺度注入”换强一致性,T2I-Adapter 用”每层轻度注入”换低成本,IP-Adapter 用”解耦交叉注意力”换不侵入主干的结构。系列里条件适配器那一篇把这三者的实现差异拆到了 zero-conv、跨层注入位置与训练调度的层次。
条件强度的控制:引导
条件进入后,强度由引导控制。分类器引导与无分类器引导(CFG)的数学机制已经在引导那一篇里完整讲过。这里只把它在地图中的位置说清楚:引导不是另一条条件通路,而是对条件通路的结果做”外推”。
设条件前向的输出为 vcond、无条件前向的输出为 vuncond,CFG 的引导输出是
vguided=vuncond+w(vcond−vuncond)w 越大,条件影响越强。代价有两层:一是每步要跑两次前向(除非做引导蒸馏),二是 w 过大时会引发过度饱和——颜色发灰、纹理过度锐化、构图被压向训练数据里更”典型”的样本。负向提示词其实与 CFG 同源:它只是把”无条件”换成”以负向提示词为条件的条件”,在数学上等价于改变两个外推端点的参考点。
引导带来的推理成本是系列里被反复计算的:在采样总步数 N 上叠加一个因子 2。少步蒸馏、引导蒸馏、以及后来的一些”两阶段引导”设计,本质上都是在设法把这个 2 降下来——要么在蒸馏中把”有条件与无条件”合并成一个网络,要么在低噪声端停用引导以省一半前向。
条件层在离散扩散模型里是另一套形态。LLaDA 的条件就是”提示词 token”,它在训练与推理时都是可见的;没有 CFG,也没有”无条件前向”。离散模型的”引导”通常换成分类器自由度的另一种用法:把提示词的可见性作为一种可调节的”条件强度”,或者在某些实现里对”提示词是否掩码”做随机扰动来模仿 CFG。这也解释了为什么 dLLM 的推理成本里没有”两次前向”这一项,但多了”缓存刷新”与”重掩码”两项。
五、采样层:把主干跑几遍、怎么跑
采样层的职责
采样层是整张地图里成本与质量之间张力最大的一层。它回答三个问题:
- 跑多少步:50 步、20 步、4 步还是 1 步;
- 以什么方式跑:随机反向链(DDPM)、确定性 ODE(DDIM)、高阶积分器(Heun、DPM-Solver)、直线路径(Flow Matching)、少步蒸馏网络、还是块并行解码(dLLM);
- 每一步的内部粒度:单条整序列前向,还是按块、按 token 子集、按条件分离的部分前向。
从成本的角度看,采样层决定了”主干每步成本”被乘以多少。前十九篇里有一半以上在讨论如何把乘数压下来,方法在数学层面可以归为三类:
第一类:改轨迹几何——把路径拉直
DDPM 的反向链是一条在噪声维度上有大量随机性的链;DDIM 把它改造成确定性轨迹,但这只是”去掉随机噪声”,轨迹本身仍然弯曲;Flow Matching 更进一步,把训练目标改成”沿一条从噪声到数据的直线或近似直线的速度场回归”。路径越直,固定步数下沿路径积分走的”步长误差”就越小,用更少的步数就能到终点。
这条路在采样器那一篇里被拆得很细:DDIM 的一阶更新、Heun 的二阶更新、DPM-Solver 的多步高阶积分、以及”为什么在高噪声端用高阶、在低噪声端用一阶”的经验。核心结论是:步数的下限不只由模型质量决定,还由数值积分器的阶与噪声日程的分布共同决定。EDM 的幂次噪声日程、DPM-Solver 的非均匀时间步、以及 SD3 的 timestep shift,都是同一个”在噪声空间里均匀取点”的思想的不同落地。

上图来自 DPM-Solver 论文的 Figure 1,把 DDIM 在 10、15、20、100 步下的生成样本与 DPM-Solver 只用 10 步的样本并排对比。它想表达的直觉是:提高积分器的阶数,是在”每步多算一点”与”总步数减少”之间做交换——二阶、三阶求解器每步需要用到前一步或前两步的信息,但通常能把 50 步压到 20 步以下。这个交换是采样层最基础的账,系列里采样器那一篇把它拆到底层数值公式。

上面这张来自 EDM 论文的 Figure 2 曲线图给了另一种视角:横轴是一次采样总共花了多少次前向(NFE),纵轴是 FID(越低越好)。曲线在不同配置下交叠,说明”相同 NFE 下哪套配置更好”取决于噪声日程、求解器阶数、以及网络参数化三者的组合。这也正是 EDM 论文的核心主张:设计空间不是单一维度,而是这三条互相牵制。后续所有”少步采样”的工作,实际上都在这三条轴上做取舍。
第二类:改前向次数——蒸馏掉步
路径拉直只能把 50 步压到 20 步左右。要压到 1~4 步,就必须改变网络本身。少步蒸馏的几条主线——一致性模型把”任意时刻的样本都映射回同一个起点”、DMD 用两网络对抗把多步教师的分布蒸到少步学生上、轨迹蒸馏直接让学生网络学会”一步跨过教师的一段轨迹”——本质上都是把”多次前向承担的计算”折叠进网络权重。
这带来采样层的结构性变化:蒸馏后的网络不再”每步相同”,而是每一步都要承担原先多步累积的信息量。1 步学生网络要一次性跨过教师几十步走过的轨迹,容量或训练分布必须补上这部分;4 步方案也要保证最后一步能处理低噪声端的高频细节。这就引出了一个在系统工程里容易忽略的反直觉现象:把 50 步压到 4 步未必让 GPU 利用率上升——原先 50 步里 GPU 是持续满载的,4 步时采样循环太短,文本编码、VAE 解码、调度这些固定段在端到端时间里的占比上升,请求之间可重叠的窗口变窄,单请求延迟确实降了,但吞吐未必按步数比例提升。第八篇(推理加速工程)里把这一点作为”为何 4 步之后加速不线性”的核心解释。
第三类:改并行粒度——把”整序列前向”拆开
前两类都属于连续扩散。离散扩散的采样层有另一套账,因为它的”每步”不是”对同一个张量做一次积分”,而是”在一条序列上把一部分位置从掩码解回”。系列里第二篇(掩码离散扩散)把这一层的基础讲完:前向是把位置替换为 [MASK],反向是逐轮解出,块并行把长序列切块,每块内部再做若干轮”多位置同时预测 + 重掩码”。
这块并行把总前向次数从 L 降到”块数 × 块内轮数”。块越长、块内轮数越少、每轮同时解出的位置越多,总前向次数越少;但每轮同时解出的位置越多,丢掉的”位置依赖”越多,质量下降越明显。这是 dLLM 采样层里最核心的质量-速度权衡。第三篇(dLLM 推理系统)进一步把”每轮解多少”做成了自适应——Fast-dLLM 的置信度阈值、Sparse-dLLM 的稀疏注意力、dInfer 的 IterSmooth 与 credit 解码,都在这个权衡上找不同的点。

上图呈现了掩码扩散从全掩码走向全解出的过程。理解它要抓住两件事:第一,每一轮把所有未解位置一次性预测出来,但只采纳其中一部分;第二,每轮决定”采纳哪些”的策略,是整个 dLLM 采样层的核心自由度——重掩码、置信度阈值、块内轮数、块间是否重叠,全部在这上面做文章。

上图是 dInfer 的四模块架构,它把 dLLM 的采样层规范化成了”四个可独立替换的组件”。这里的意义不只是工程组织:它意味着 dLLM 的采样层不像连续扩散那样有一个”统一的最优求解器”,而是需要在迭代、解码、缓存三个维度上组合出不同的策略。这是采样层在离散扩散里比在连续扩散里”自由度更大、但没有明显最优解”的直接体现。
采样层的自由度在哪里
采样层有三条互相牵制的轴:前向次数、每步成本、质量损失。任何”加速”手段都在三者之间做交换。系列里少步蒸馏、推理加速、SDE 连续视角、引导、图像编辑这几篇,把这些交换从不同角度拆过:
- 少步蒸馏交换的是”训练成本 + 网络尺寸”与”前向次数”;
- 引导蒸馏交换的是”条件质量”与”每步前向翻倍”;
- 图像编辑的反演交换的是”可逆性”与”多跑一段正向与反向”;
- 跨步特征缓存交换的是”误差累积”与”重复计算”。
它们的共同结构是:采样层的加速不是免费的,每一次加速都把一部分”计算”变成”误差”或”训练”。理解了这个结构,再去看任何一种新的加速手法,都能迅速判断它落在哪一条轴上。
六、层与层之间的接口:为什么换一层就要连带换另一层
四层不是彼此独立的模块,它们之间有强依赖。下面用几个具体例子把接口关系讲清楚。
表示层与采样层:噪声日程的”投影”
连续扩散的噪声日程定义在噪声水平 σ 上。当表示层从像素换成潜空间时,像素空间的噪声水平与潜空间的噪声水平不是等价的,所以在切换分辨率时,实际系统需要对噪声日程做shift:把 σ 的分布按分辨率调整,使潜空间的每步”难度”与像素空间对齐。SD3 的 timestep shifting 与 Flux 的 sigma shift 都是这个需要。这意味着:表示层一旦换了(比如从 512 切换到 1024,或者从图像切到视频),采样层的日程就需要重新标定,否则会出现”高分辨率下过曝/过低对比度”这类表征错误。
离散表示与采样层的关系更明显。“被掩码比例”日程与块内日程是两层日程叠加的,第一层是”这块在这轮还剩多少能看”,第二层是”这块内部这一轮解到哪里”。两层日程的设计与块并行策略、缓存刷新策略互相决定。可以这么说:离散扩散的采样层不能视为”独立的求解器”,它是与表示层共同设计的。
主干层与条件层:注入点的选择决定 CFG 的代价
U-Net 时代,文本条件通过每层交叉注意力进入,CFG 要两次完整前向。DiT 时代,条件通过 adaLN 调制进入,CFG 依然两次完整前向,但”无条件”的前向只是调制参数不同,主干权重完全相同。MMDiT 时代,文本与图像 token 在同一序列里,CFG 的”无条件”前向变成”空文本 token 与图像 token 联合处理”,与”有条件”前向的差别体现在输入序列而非网络权重。
这三种实现差别看似很小,但在系统工程里导致不同的优化路径:U-Net 的两次前向就是两次独立调用,可以 batch,也可以拆到不同的执行流里;DiT 的两次前向可以用”打包成 batch 为 2”的方式让 GPU 在同一个 kernel 里同时处理两条序列,有效提升利用率;MMDiT 的两条序列长度不一样(无条件序列里文本 token 数量不同),打包时需要补 padding,padding 长度会改变注意力内核的实际负载。
主干层与表示层的”隐式耦合”
主干层的 token 数由表示层直接决定,但反向也成立:主干的注意力预算会倒逼表示层的压缩倍率。例如,视频生成中时空注意力复杂度是 O((T⋅h⋅w)2),如果表示层用 8 倍下采样,一个 720p、2 秒、24 fps 的视频,像素张量约是 3×1280×720×48,8 倍空间下采样再加一路时间压缩后,潜张量大致落在十万量级的 token;全注意力二次复杂度下这已经是天文数字,因此视频主干必须改用时空分离注意力或窗口注意力。这就意味着:表示层的选择会决定主干层能不能用某个设计,主干层的设计又会倒逼表示层做出某种妥协。
七、成本结构:把地图投影到机器上
前十九篇里对成本的讨论散落在各篇。这里把它重新组织成一条清晰的账。任何一个扩散请求的端到端时间可以用一个粗略分解来表示:
Ttotal≈Tenc+N⋅Tstep+Tdec+Toverhead其中 Tenc 是条件编码(文本编码器等),N 是采样步数,Tstep 是单步前向时间(多次 CFG 前向时要再乘以条件因子的倍数),Tdec 是解码(VAE 或 token 解码),Toverhead 是调度、队列、CPU 派发等固定开销。
把四层映射到四项上:
| 成本项 | 主要来源层 | 典型量级(图像生成) | 可压缩的途径 |
|---|---|---|---|
| Tenc | 条件层(文本/图像编码器) | 数十至数百毫秒,一次 | 缓存编码结果、长短提示词分路径 |
| N⋅Tstep | 采样层 × 主干层 | 占大头,50 步 × 数十毫秒 | 少步蒸馏、缓存、并行、降低每步开销 |
| Tdec | 表示层(VAE 解码) | 10242 图像上数百毫秒 | 分块解码、与采样重叠、专用解码核 |
| Toverhead | 系统层(调度与派发) | 短请求上可能占主导 | 减少 CPU 派发、CUDA Graph、批处理 |
这张表把”为什么不同请求的瓶颈不同”解释得很直接:长 prompt + 长步数的请求,瓶颈在 N⋅Tstep;蒸馏后的 1 步 + 大分辨率的请求,Tdec 与 Tenc 可能占大头;极短 prompt + 小分辨率的请求,瓶颈可能完全是 CPU 派发的 overhead。
系列里第八篇(推理加速工程)、第十篇(音频)、第十一篇(3D)、第十九篇(推理链路)分别在不同模态下验证了这张表的形状。这张表最重要的用途,不是精确预测延迟,而是快速定位瓶颈:当你看到一个扩散服务的延迟异常,只要把四个分项各测一次,就能知道问题落在表示层、条件层、采样层、还是系统层。
八、按这张地图回看离散扩散与 dLLM
离散扩散语言模型(dLLM)是系列里最”跨层”的一条支路。它把四层全部重写了一遍:
- 表示层:从连续张量换成词表上的序列,噪声从”加性噪声”换成”替换为
[MASK]”; - 主干层:从 U-Net / DiT 换成双向 Transformer,输入嵌入仍然从预训练 AR 模型迁移,但注意力掩码是全双向;
- 条件层:从”交叉注意力注入文本”换成”提示词 token 永远可见”,没有 CFG 的两倍前向;
- 采样层:从”离散时间步 ODE 积分”换成”逐轮把掩码位置解出”,每一步的质量由”同时解出多少”决定。

上图来自 Sparse-dLLM 论文,把稀疏注意力和缓存失效管理如何组合进 dLLM 采样过程呈现了一遍。这张图在地图中的位置很特殊:它同时跨过主干层与采样层——稀疏注意力改变主干层的注意力形状,缓存失效管理与重掩码改变采样层的状态更新。dLLM 的很多工作都具有这种跨层结构,因为它们要同时处理两个现实:采样层”每轮只解一部分位置”、主干层”全双向注意力负载形状动态变化”。
把 dLLM 当作地图上的一个特殊角落来看,有一个结论很明确:它不是”连续扩散的另一个模态”,而是四层都经过重新设计的另一套体系。所以,看到一个 dLLM,不能直接套连续扩散的成本公式,必须把 N⋅Tstep 换成”块数 × 块内轮数 × 每轮前向成本”,把 Tdec 换成一个通常可忽略的 token 解码,把”CFG 翻倍”换成一个”缓存刷新开销”的固定项。
九、从零到体系:这一张地图怎么用
对刚刚接触扩散模型的人来说,这张地图至少可以帮助解决三个实际问题:
第一,快速定位一个陌生模型属于哪条支路。 看它的潜空间倍率与条件编码器,能定位表示层与条件层;看主干形状与注意力结构,能定位主干层;看默认采样步数与求解器,能定位采样层。三个问题定位完,你就能猜出它的成本结构大致像哪张表。
第二,判断一个加速手法属于哪一类。 把加速手法贴到地图上,会立刻知道它是”改表示”(如潜空间压缩)、“改主干”(如稀疏注意力、非 Transformer 主干)、“改条件”(如引导蒸馏)、还是”改采样”(如少步蒸馏、路径拉直、块并行)。不同类的收益口径完全不同:改表示的收益与分辨率成正比,改采样的收益与步数成正比,改条件的收益与 CFG 因子成正比。混在一起比较加速比,往往得到一堆没有可比性的数字。
第三,判断一个系统问题的归属。 当某个服务的延迟异常时,把这张表拿出来逐项测,就能知道问题出在解码、编码、采样、还是派发。这个流程在系列最后一篇(推理链路)里已经被用一次,它是最直接的”地图落地”。
如果需要进一步深入,这张地图也给出了推荐的阅读路线:
小结与系列收尾
这一篇把扩散基础系列的所有模块重新组织成一张地图,它不引入新机制,只做一件事:按推理时真正要经过的四个层次(表示、主干、条件、采样)重新归类,并指出它们之间的依赖关系与成本投影。
三条核心结论:
第一,四层是横切结构,而不是纵向学习顺序。 每篇工作都会同时跨越四层,只是重点不同。理解一件新工作的最快路径,是先判断它在四层上的位置。
第二,层与层之间存在强接口。 表示层一换,采样层就要重新标定噪声日程;主干层一换,CFG 的实现路径与批处理方式就要调整;表示层的分辨率与主干层的注意力预算互相倒逼。理解这些接口,就能理解为什么扩散模型的实现改动往往是”牵一发而动全身”。
第三,成本结构是四层与系统层的投影。 端到端延迟可以分解为编码、采样、解码与 overhead 四项,每项的主要来源层不同,可压缩的途径也不同。建立这个分解,是把扩散模型从”算法”推进到”系统”的第一步。
系列从 DDPM 的数学骨架出发,走到了推理链路、条件适配、评测度量与架构地图,基础部分到此完整。「扩散模型从零讲起」这一条线的价值,不在于把每篇的公式背下来,而在于能在遇到一个新模型时,迅速定位它在四层结构中的坐标、判断它的成本分布、并知道从哪一篇去翻它对某个层的处理方式。
参考资料
- Denoising Diffusion Probabilistic Models(DDPM,Ho 等, NeurIPS 2020)
- Denoising Diffusion Implicit Models(DDIM,Song 等, ICLR 2021)
- Elucidating the Design Space of Diffusion-Based Generative Models(EDM,Karras 等, NeurIPS 2022)
- DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps(arXiv:2206.00927)
- Flow Matching for Generative Modeling(Lipman 等, ICLR 2023)
- Scalable Diffusion Models with Transformers(DiT,Peebles & Xie, ICCV 2023)
- Scaling Rectified Flow Transformers for High-Resolution Image Synthesis(SD3 / MMDiT,Esser 等, ICML 2024)
- High-Resolution Image Synthesis with Latent Diffusion Models(LDM / Stable Diffusion,Rombach 等, CVPR 2022)
- Large Language Diffusion Models(LLaDA,arXiv:2502.09992)
- Dream 7B: Diffusion Large Language Models(arXiv:2508.15487)
- Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding(arXiv:2505.22618)
- Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction(arXiv:2508.02558)
- dInfer: An Efficient Inference Framework for Diffusion Language Models(arXiv:2510.08666)
- Classifier-Free Diffusion Guidance(Ho & Salimans, arXiv:2207.12598)
- Adding Conditional Control to Text-to-Image Diffusion Models(ControlNet,Zhang 等, ICCV 2023)
- IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models(arXiv:2308.06721)
- T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models(arXiv:2302.08453)
- Hugging Face diffusers 文档:Diffusion pipelines
图源说明:Flow Matching 最优传输示意图取自 arXiv:2210.02747;LLaDA 训练与采样示意图取自 arXiv:2502.09992;U-Net 与 DiT 架构图取自 arXiv:2212.09748 与 arXiv:1505.04597;DPM-Solver 样本对比与 EDM 的 NFE–FID 曲线分别取自 arXiv:2206.00927 与 arXiv:2206.00364;dInfer 四模块架构取自 arXiv:2510.08666;Sparse-dLLM 总览取自 arXiv:2508.02558;掩码采样过程图取自 MDLM(arXiv:2406.07524);Fast-dLLM 注意力热力图取自 arXiv:2505.22618。以上图片均在正文中本地引用。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



