正在获取所在地区…
正在读取天气
音乐
暂未播放
扩散模型从零讲起(九):架构演进——从 U-Net 到 DiT、MMDiT 与原生多模态主干
写在前面:这一篇在系列里的位置
前八篇已经把扩散模型的数学骨架、离散化、采样器、蒸馏与推理加速工程讲完了,其中好几篇在讲解时顺手提到了主干结构:第一篇讲了 DiT 如何用 transformer 替换 U-Net、adaLN-Zero 的 γ,β,α 各自在做什么;第四篇讲了 MMDiT 的双流结构为什么在文本条件下比 cross-attention 更有效;第五篇讲了时空注意力的基本排布方式。但它们都是以”为讲清扩散机制而需要的背景”的身份出现的——真正决定扩散模型能生成什么、算力消耗多少、为什么某些条件控制方式能成立的那个东西,即去噪主干(denoising backbone)本身的设计空间,还没有被系统地展开。
这一篇把主干单独拿出来讲透。扩散的数学告诉你”要去噪什么”,主干回答的是”用什么样的网络去逼近它”。两者的组合方式决定了:
- 归纳偏置:模型默认相信图像是什么——是局部相邻像素组成的平滑结构,还是由一批离散片元组成的拼图?
- 条件注入方式:文本、类别、控制图等条件是从旁路挤进主干,还是从第一天起就和数据走同一条路径?
- 算力分布:计算主要花在卷积上还是注意力的 O(N2) 上,分辨率升高时开销按什么规律增长。
- 可控性与训练稳定性:同样的训练目标,主干换一个,收敛速度、超参敏感度和平滑插值的性质都会变。
文章按架构演进的真实顺序组织:先看 U-Net 及其在扩散早期为什么是默认选择,再看它在中高分辨率下的结构性问题;然后拆 DiT 的 patchify、adaLN-Zero 与规模规律;接着讲 SiT 发现的”路径可插拔”——不换主干,只换扩散路径就能让训练变稳、采样变短;最后进入 MMDiT 与原生多模态主干,讨论文本在这种架构里为什么不再只是一个旁路条件。整个叙述的主线是同一个问题:图像建模的归纳偏置应该来自哪里——是手工设计的卷积层级,还是 transformer 的可学习注意力?
可参考 扩散模型从零讲起(一):从 DDPM 的加噪/去噪到 DiT 与 Flow Matching 了解 DiT 与 adaLN-Zero 的初次登场,以及 扩散模型从零讲起(四):潜空间扩散与条件生成——VAE、cross-attention 与 MMDiT 双流 了解 MMDiT 在条件生成里的位置。
为什么主干结构值得单独讨论
主干与扩散过程是两个正交的轴
扩散模型在实现上可以拆成两部分:过程(前向加噪、反向去噪、损失函数)和近似器(预测噪声/速度/分数的神经网络)。DDPM 的论文只规定过程是高斯马尔可夫链,预测器用的是一个 U-Net;后续所有工作——DDIM、score matching、Flow Matching——改的都是过程那一条轴,主干这一条轴一直没怎么动,直到 DiT。
把两条轴分开看,就能理解为什么很多看似”扩散技巧”的东西其实是主干问题。比如:
- 同样的步数,为什么有的模型采样出来有”颗粒感”、有的平滑?这更多是主干在噪声预测上的误差分布决定的,而不是采样器。
- 训练时常说的”梯度爆炸”在某类时间步上尤其严重,往往不是损失函数写错,而是主干在极端噪声水平 t→T 或 t→0 时的表达能力不对称。
- 换一个主干,同样的数据集与训练步数得到的效果可以差一整个等级,这说明归纳偏置的作用不比算法小。
归纳偏置的三种来源
用一句话概括扩散主干的设计张力:
先验越强,数据越少越好训;先验越弱,数据越多上限越高。
归纳偏置通常来自三处:
- 结构先验:网络拓扑(卷积的平移不变与局部性、池化带来的层级、attention 的全局连接)。
- 时间条件先验:噪声水平 t 以什么形式进入网络(相加、拼接、乘性调制、单独的 token),以及它在层与层之间如何传播。
- 空间位置先验:位置编码是绝对位置、相对位置、二维网格位置,还是与二维结构绑定的可分解位置。
U-Net、DiT、SiT、MMDiT 这四个代表架构,差别几乎都可以用这三个维度来定位。下面逐层展开。
第一层:U-Net——扩散早期为什么”就该用卷积”
结构回顾:encoder、bottleneck、decoder 的三段式
U-Net 最初是为医学图像分割设计的,特点是对称的下采样与上采样,并通过 skip connection 把 encoder 中每个分辨率层的高分辨率特征直接拼接到 decoder 对应层。DDPM(2020)采用 U-Net 作为去噪主干,此后 Ho 等人的 ADM、OpenAI 的 GLIDE、Stable Diffusion 的 latent U-Net 都沿用了这个骨架。
一个典型的扩散 U-Net 包含:
- Downsample 路径:若干个分辨率等级(通常 32→16→8→4),每一级由若干 Residual Block 组成,并在每隔一级插入 Self-Attention(早期分辨率等级通常插 attention,最高分辨率通常不插)。
- Middle/Bottleneck:在最粗的分辨率上堆叠若干 ResBlock + Attention。
- Upsample 路径:与 Downsample 对称,每级接收来自同分辨率 encoder 的 skip 特征。
- 时间嵌入注入:t 先经过正弦位置编码(sinusoidal embedding),再过一个小 MLP,然后在每个 ResBlock 里用来做逐通道的仿射变换。
每级的分辨率约为 H/2k×W/2k,通道数随下采样增加(例如 128→256→512→1024)。在 latent 空间里,Stable Diffusion 的 U-Net 在 64×64 的 latent 上工作,但内部仍按 64→32→16→8 做层级。

上图是 U-Net 原始论文中的架构图。左半边是收缩路径(contracting path):每级先做两次 3×3 卷积加 ReLU,再 2×2 最大池化下采样,通道数翻倍;右半边是扩张路径(expansive path):每级先 2×2 反卷积上采样,再与左侧同分辨率的特征图拼接(图中虚线箭头表示 copy and crop),最后接卷积。扩散 U-Net 沿用这套骨架,只把输入输出换成”带噪 latent 与预测噪声”,并在每个 ResBlock 里加入时间步的仿射调制。理解这张图的关键在于虚线箭头:它让高分辨率细节绕过中间的低分辨率瓶颈,直接进入解码器;也正因为如此,U-Net 的参数量与显存占用集中在高分辨率层。
为什么卷积先验在这个阶段是对的
图像有两个关于卷积的先验,它们都很有用:
- 局部性:相邻像素高度相关,建模”附近”的相互作用是最主要的任务。
- 平移等变:同一纹理出现在图像任何位置时,建模它的滤波器应该相同,不必为每个位置学一套。
卷积的核尺寸通常是 3×3,感受野通过层叠才增长到全局。这带来两个性质:
- 参数效率高:一个 3×3 卷积只有 9 个权重/通道,要处理 64×64×128 的输入只花很少参数。
- 对小数据友好:归纳偏置约束了假设空间,少数据也能训出泛化不错的模型。
扩散早期多在 ImageNet、CIFAR 这类中低分辨率、几十万到上百万样本的数据集上做研究,卷积先验的收益非常明显。这也是为什么 2020–2022 年几乎所有扩散论文都以 U-Net 为默认主干。
U-Net 在扩散里的具体代价
卷积先验同样带来了三个代价,它们在中高分辨率、大规模数据、复杂条件这几种场景里逐渐暴露。
代价一:分辨率与注意力的冲突
自注意力的计算量与 token 数的平方成正比。在 U-Net 里如果对最高分辨率层也加 self-attention——一个 64×64 的 latent 层有 4096 个 token——单层注意力就要 40962 次相似度计算。于是设计者通常只在 16×16 或更低的层上插 attention,让卷积负责高频细节。这造成一个结构性妥协:
- 低频(全局结构):由 attention 建模,但只在粗分辨率。
- 高频(纹理/细节):只有卷积建模,完全没有全局信息交互。
对图像来说这大体合理,但”细节之间的大范围一致”(如对称图案、文字排版)很难仅靠局部卷积的堆叠来保证。后续引入的 Patch-based attention(如 SDXL 的 cross-attention 内做 patch 化)正是为了缓解这个问题。
代价二:时间条件的注入深度有限
在 U-Net 里,t 通常只通过 ResBlock 里的逐通道仿射参数进入网络。噪声水平影响的是”整体上图像有多模糊”,它是一个全局标量,而卷积层的权重是共享的,所以 t 的注入必须经仿射映射后逐通道调制。这带来两个后果:
- 分辨率相关的 t 效应:同等噪声水平下,高分辨率层看到的”模糊尺度”与低分辨率层不同,但注入方式完全相同,网络需要额外学习这种尺度差异。
- 跨分辨率一致性:相邻尺度的 t 调制是独立的,没有显式的机制保证它们协调一致。
代价三:下采样的信息损失与 skip connection 的错位
encoder 的下采样(stride 卷积或池化)会丢弃信息;decoder 上采样再恢复。skip connection 把 encoder 的高分辨率特征直接拷过去,但 encoder 中的高分辨率特征已经过若干卷积层,其空间对齐与 decoder 当前层并不严格一致(如果下采样用的是 stride 卷积,还会有相位偏移)。Stable Diffusion 在实现里大量使用 Conv2d 做下采样并配以 conv_shortcut 处理通道变化,这些细节在不同实现里容易不一致,给复现和迁移带来麻烦。这与 U-Net 作为”分割模型”被借来用扩散的历史背景有关。
后续很多工作——特别是 2023 年之后——意识到与其修补 U-Net 的结构性妥协,不如换一个更通用、更易扩展的主干。DiT 就是这样出现的。
第二层:DiT——把图像切成 token,把 t 变成调制
一句话思想
DiT(Diffusion Transformer,Peebles 与 Xie,2022 年底 arXiv 2212.09748,CVPR 2023)的核心动作很小:把图像 latent 切成不重叠的 patch,每个 patch 线性投影成一个 token,交给标准 transformer;同时把 transformer 最成熟的条件注入机制 adaLN-Zero 拿来注入时间步条件。从结构上看它是 ViT,从功能上看它替换了 U-Net 的全部三段式。
这个想法看起来朴素,但它做了一个关键判断:扩散的数学过程与主干的卷积先验是可分离的,过程本身不依赖”图像应该局部、平移等变”的假设。只要数据量足够大,让 attention 自己学出结构先验,效果会比手工设计更强,而且扩展性更好。
patchify:从 latent 到 token
设 latent 的空间尺寸为 H×W,通道数为 C,patch 大小为 P。patchify 把 latent 重排成 N=(H/P)(W/P) 个 token,每个 token 维度为 P2C:
N=P2HW,din=P2C然后用一个线性层(等价于 stride 为 P 的卷积)投影到 transformer 的隐藏维 d:
X=ZpatchesW+b,Zpatches∈RN×P2C, X∈RN×d以 ImageNet 256×256 为例,latent 尺寸是 32×32×4(SD 的 VAE 是 8× 下采样、4 通道),若 P=2,则 N=256 个 token,每个 token 是 22×4=16 维;投影到 d=1152(DiT-XL/2 的隐藏维)后进入 transformer。

上图是 DiT 论文的架构总览。左侧流程是:带噪 latent(32×32×4)与时间步、类别标签一起进入;latent 经 patchify 与线性投影变成 token 序列,加上位置编码后进入 N 个 DiT block;每个 block 由 LayerNorm、多头自注意力、LayerNorm、MLP 组成,时间条件经 MLP 产生缩放与平移系数注入这两个 LayerNorm;最后解 patch 还原成同形状的速度/噪声预测。图的右侧并列画了三种条件注入方式:adaLN-Zero(论文最终采用)、cross-attention(额外文本 token 作为 K/V)、in-context(条件 token 直接拼进序列)。三者共用同一个 transformer 骨架,差别只在条件从哪里进入——这也是后文讨论 MMDiT 时最重要的对照。
这个 patch 大小 P 是 DiT 最关键的旋钮。论文系统测试了 P=2,4,8,结论是:
- P 小时,token 多、每个 token 低维,attention 的 O(N2) 开销按 (H/P)4 增长;但细粒度的局部信息保留得好。
- P 大时,token 少、每个 token 的投影矩阵变大(P2C×d),局部细节在投影中被压缩到一个 token 里;FLOPs 总量相近,但 attention 的部分显著减少,而每个 token 的首层计算显著增加。
论文的结论是:缩小 patch 能提升生成质量,但 GFLOPs 同步上升,因此”小 patch 更好”并不是免费的。这实际上说明:扩散主干的”局部 vs 全局”张力在 DiT 里没有被消除,只是从”卷积层级 vs attention 层”转移成了”patch 大小 vs token 数”这样一个可调旋钮。
adaLN-Zero:时间条件如何进入 transformer
transformer 的常见条件注入方式是 cross-attention(条件作为额外 token 参与注意力)或 prefix(条件拼接在序列头)。DiT 用的是第三种:自适应层归一化(adaptive LayerNorm,adaLN)。
标准 LayerNorm 在通道维上把每个 token 归一化,再乘可学习的 γ 与加可学习的 β:
LN(x)=γ⊙σx−μ+βadaLN 把 γ 与 β 从”固定参数”变为”由条件计算出来的函数”:对时间步 t 的嵌入 c,经过一个 MLP 得到每层的 γt, βt:
γt=1+MLP(c),βt=MLP(c)这里写成 1+⋅ 是为了让初始化时 γ≈1、β≈0,与标准 LayerNorm 的默认行为一致。
DiT 更进一步,把每个 DiT Block 里除 LayerNorm 之外的其他调制也加进来,总共产生六个系数:Attention 前 LayerNorm 的 γ1,β1,Attention 之后的逐 token 缩放 α1,MLP 前 LayerNorm 的 γ2,β2,以及 MLP 之后的逐 token 缩放 α2。每个 DiT Block 的结构可以写成:
x1x2=x+α1⊙MSA(γ1⊙LN(x)+β1),=x1+α2⊙MLP(γ2⊙LN(x1)+β2).Zero 的部分是:所有 α 和 MLP 输出的可学习缩放都初始化为 0。这样在初始化时 x1=x、x2=x1,整个网络相当于恒等映射,训练早期梯度能顺畅穿过,不会因残差分支产生大的扰动。这一技巧在 ViT 的大型训练里已被证明对稳定性至关重要,DiT 把它和 adaLN 结合起来。
为什么不是 cross-attention:cross-attention 在 U-Net 里被大量使用,但它引入额外的 O(N⋅M) 计算(M 是条件 token 数),并且需要设计条件 token 的编码与投影结构。adaLN-Zero 用一个很轻的 MLP 把全局的时间标量映射成每层的调制系数,开销只有每 token 一次逐元素操作,几乎为零,而且它对”全局标量条件”(t)是最自然的表示。DiT 的论文对比了 in-context(额外 token)、cross-attention、adaLN、adaLN-Zero 四种注入方式,adaLN-Zero 在相同算力下效果最好、训练也最稳,原因就是上面这两点:参数更少、初始化更接近恒等。
DiT 的规模规律
DiT 论文给出了一系列配置:从 S(约 3300 万参数)到 XL(约 6.75 亿参数)。在 ImageNet 256×256 上,DiT-XL/2 最终达到 FID 2.27(256)与 3.04(512),超过此前 U-Net 系的 ADM-G、LDM 等。
更值得关注的是论文的一个观察:在相同计算预算下,DiT 的表现随模型规模与计算量增加而单调提升,而 U-Net 的曲线则趋于饱和。这个观察在后续大规模文生图里得到了印证——Flux、SD3、PixArt 等都在一个更宽的规模与架构空间上继续扩展,很多都选择了 transformer 主干。
不过需要说明:FID 这类榜单数字只说明”同等条件下的效果”,具体到每个模型的选择还受到数据、VAE、文本编码器、训练配方等多重因素影响。把一篇 DiT 论文的结论直接推广为”transformer 全面优于 U-Net”,证据链并不完整;后续也有工作(如 SiT、以及某些混合 attention 卷积的变体)指出,在特定分辨率下对局部建模仍有价值。
DiT 留下的问题
DiT 把主干变成了 transformer 之后,原来的结构性问题缓解了,但也带来了几个新问题:
- patchify 的局部性仍是手工选择:P 固定为常数,不同区域共享同一个 patch 划分,图像中不规则的边界与 patch 边界不对齐,可能引入”patch 伪影”。这是后来很多工作(例如在 patch 内也做注意力、或者用卷积做 patch 投影)试图缓解的点。
- 时间条件注入深度的”过均匀”:adaLN 在每一层都注入,但不同层对 t 的敏感度可能不同,均匀注入可能浪费容量。
- 训练早期的 t 敏感性:虽然 adaLN-Zero 初始化稳定,但不同 t 下的梯度尺度在训练早期极不对称,这对损失加权(如加权的去噪损失)提出了要求。
第三点正是 SiT 的核心出发点。
第三层:SiT——主干没变,改变的是时间如何进入网络
SiT 做了什么
SiT(Scalable Interpolant Transformers,Ma 等人,2024 年,arXiv 2401.08740)在论文标题里就把立场写清楚了:研究的是”可扩展的插值 transformer”,而不是一个新的网络结构。它用的主干与 DiT 完全一致——同样的 patchify、同样的 adaLN-Zero、同样的 block 堆叠、同样的参数量与 GFLOPs,唯一变化的是扩散过程本身:把 DDPM 的高斯扩散路径换成更一般的随机插值(stochastic interpolant),并系统扫描路径、损失加权、扩散系数与采样器。
这个设计的意义在于,它把”主干”和”过程”两条轴真正解耦了。此前要判断”adaLN-Zero 到底有多好”,只能换网络结构做对比,结果里混杂了容量、深度、宽度等变量;SiT 固定网络只动过程,第一次让”时间条件注入方式与去噪路径是否匹配”成为一个可独立回答的问题。
插值形式:一个公式容纳扩散与 flow matching
随机插值把加噪写成两个标量函数控制的线性组合:
xt=αtx0+σtϵ,ϵ∼N(0,I)其中 αt 与 σt 是只依赖时间 t∈[0,1] 的确定性函数,x0 是数据。αt 控制”保留多少数据”,σt 控制”加多少噪声”。两者的具体形式定义了不同的生成路径:
- VP 扩散(DDPM 使用的方差保持形式):αt2+σt2=1,αt 随时间从 1 衰减到接近 0,σt 从 0 升到 1。
- 线性插值(rectified flow / flow matching 的直线路径):αt=1−t,σt=t,噪声与数据按时间线性混合。
- GVP(generalized VP):在 VP 基础上加一个可调的尺度参数,允许 αt2+σt2 不等于 1。
以线性路径为例,对 t 求导得到速度:
vt=dtdxt=dtd[(1−t)x0+tϵ]=ϵ−x0这个结果很干净:直线路径下的速度场就是”噪声减数据”,与 t 无关。也正因为它与 t 无关,采样器的 Euler 步在理想情况下只需一步就能走完——这正是 flow matching 能用极少步数采样的几何原因,也是第六篇里 DPM-Solver 等求解器要逼近的目标。
VP 路径则不同。它的 αt,σt 都是 t 的非线性函数,vt 随时间变化;同样的网络容量下,VP 路径的轨迹更弯,需要更多步数来离散。SiT 的结论是:在相同主干、相同参数量的条件下,把 VP 换成线性插值、再把损失加权与采样器调到匹配,FID 能稳定改善——在 ImageNet 256×256 上,SiT-XL/2 报出 FID-50K 2.06,而 DiT-XL/2 是 2.27;512×512 上从 3.04 降到 2.62。
为什么这会影响”时间条件”的设计
关键在于 adaLN 的调制系数是由 t 的嵌入算出来的。路径换了,“同一个 t“对应的噪声水平与信号强度完全不同:
- 在 VP 下,t=0.5 时 αt 已经很小,图像几乎被噪声淹没;网络在这一点的任务接近”从纯噪声里猜结构”。
- 在线性路径下,t=0.5 时数据与噪声各占一半,任务更接近”去半强度的噪声”。
也就是说,adaLN 并不是在给网络喂一个抽象的”进度百分比”,而是在喂一个与路径强耦合的信号。如果路径改变而调制函数的形状不变,网络在不同 t 上看到的任务难度分布就会偏移。SiT 的扫描显示,把路径换成线性、配合更合适的损失加权(例如对 t 做 logit-normal 采样、给中间时段更高权重)后,同等规模下的 FID 稳定优于 DiT,而且这个优势在各个模型规模上都成立。这反过来说明:DiT 的原始配方并不是”最优解”,而是”与 VP 路径配套的解”。
一个常被忽略的工程点:损失加权与时间采样
扩散损失通常写成对 t 的期望:
L=Et∼p(t),x0,ϵ[w(t)ϵ^θ(xt,t)−ϵ2]p(t) 是训练时的时间采样分布,w(t) 是损失权重。DDPM 的简化损失取 p(t) 为均匀分布、w(t)=1;这在实际训练里会让模型在”极低噪声”和”极高噪声”两端得到的梯度占比,与它们在采样轨迹上的重要性不匹配。原因很直接:t 接近 0 时,xt 与 x0 几乎相同,去噪任务过于简单;t 接近 1 时,xt 几乎是纯噪声,模型学到的只是数据分布的粗略形状。真正决定生成质量的,是中间那段”既有结构又有噪声”的区间。
SiT 扫描了多种 p(t) 与 w(t) 的组合,结论是路径、时间分布、损失权重三者必须一起调;单独换其中一项,收益往往被抵消。对推理侧来说,这一点的含义是:换主干或换采样器时,不能假设原来的训练配方仍然成立,超参需要跟着路径重调——这也是为什么很多”直接套用 DiT 配方”的复现结果和原论文有差距。
SiT 没解决的问题
SiT 证明了”结构不是唯一变量”,但它没有回答”在更大规模、更长文本、更高分辨率下,哪种路径最优”。后续 SD3 的 rectified flow、Flux 的 guidance distillation 都在不同方向上继续调这条轴。对工程实践而言,更稳妥的表述是:U-Net→DiT 解决的是”主干可扩展”,SiT 解决的是”路径可插拔”,两者共同构成了现代扩散模型的两条设计轴。
第四层:MMDiT——文本与图像不再是”条件与主体”
问题的变化:文本从短标签变成长描述
DiT 论文的实验主要在 ImageNet 类别条件上做:条件是 1000 个类别之一,用一个可学习的类别嵌入就够。当条件变成一整句自然语言时,情况变了:
- 条件本身是一串 token,长度从几十到几百不等;
- 文本与图像之间的对应关系是细粒度的(“左边那只红色的猫”),不是全局的类别标签;
- 文本 token 与图像 token 的统计性质差异很大,一个是离散符号的嵌入,一个是连续像素的 latent。
DiT 的 adaLN-Zero 是为全局标量条件设计的:它把条件压成一个向量,再对每一层做逐通道调制。这对类别标签够用,但对”文本里每个 token 分别对应图像不同区域”这种条件,全局调制会丢掉 token 级的对应关系。DiT 论文自己也试过 in-context(把条件 token 拼进序列)与 cross-attention 两种方案,但都不是为长文本设计的。
MMDiT 的结构
Stable Diffusion 3(Esser 等人,2024 年,arXiv 2403.03206)提出的 MMDiT(Multimodal Diffusion Transformer)给出了一个直接的回答:既然文本和图像都是 token 序列,就让它们各自保留一套权重,再在注意力处汇合。

上图是 SD3 论文里的模型总览。左侧是三路文本编码器(CLIP-L/14、CLIP-G/14、T5-XXL),它们的输出被拼接成文本 token 序列 ctxt;右侧是 latent 经 patchify 与位置编码后的图像 token 序列 cimg。两路 token 进入若干 MMDiT block,最后解 patch 得到预测的速度场。图中还能看到两路 token 在进入 block 前被投影到同一隐藏维,这是联合注意力能够成立的前提;而文本 token 数与图像 token 数的比例,直接决定了联合注意力里”跨模态那部分”占多少计算量。
单个 MMDiT block 的内部结构如下:

这张图里有三个值得逐一拆开的细节。
细节一:两套独立的权重。 文本流的 LayerNorm、Linear、MLP 与图像流的对应层是分开的。论文给出的动机是:两种模态的统计分布不同,强行共享权重会让归一化的均值方差、线性层的奇异值分布互相迁就。分开之后,每个模态可以有自己的尺度,联合注意力只负责”跨模态的信息交换”这一件事。
细节二:联合注意力。 两个流的 Q、K、V 被拼接后做一次完整的 self-attention:
QOOtxt=[Qtxt;Qimg],K=[Ktxt;Kimg],V=[Vtxt;Vimg],=softmax(dhQK⊤)V,=O1:Nt,Oimg=ONt+1:Nt+Ni.其中 Nt、Ni 分别是文本与图像 token 数,dh 是每个注意力头的维度。拼接后序列长度是 Nt+Ni,注意力的计算量是 O((Nt+Ni)2),输出再按位置切回两个流,各自过模态专属的输出投影。
为什么不用 cross-attention? 在 U-Net 时代,cross-attention 是标准做法:图像 token 做 query,文本 token 做 key/value,计算量是 O(NiNt)。它比联合注意力便宜(因为 Nt≪Ni 时,NiNt≪(Ni+Nt)2),但信息流是单向的:图像可以读文本,文本不能读图像。MMDiT 的联合注意力让文本 token 也能”看到”图像 token,从而在每一层都更新自己的表示。论文的对照实验显示,在相同规模下,这种双向交互比 cross-attention 版本的训练更稳定、最终质量更好;代价是注意力计算量增加,增加的部分约为 2NiNt+Nt2。
细节三:逐模态调制。 图中 Mod 模块产生六个系数,文本流与图像流各有一套:α,β 用于注意力前的 LayerNorm,γ 用于注意力后的缩放,δ,ϵ 用于 MLP 前的 LayerNorm,ζ 用于 MLP 后的缩放。它们由时间步嵌入与池化的文本嵌入相加后,经 SiLU + Linear 得到。这与 DiT 的 adaLN-Zero 同源,但每个模态有独立的参数,因此文本侧的”噪声水平”与图像侧的”噪声水平”可以有不同的响应曲线。
QK-Norm:为什么 8B 规模必须加
SD3 在 block 里还有一个容易被忽略的改动:在计算注意力矩阵之前,对 Q 与 K 各做一次带可学习缩放参数的 RMSNorm。论文引用的依据来自视觉 transformer 的研究(Dehghani 等人,2023):大规模视觉 transformer 训练时会因注意力熵失控而发散,解决办法就是在注意力前归一化 Q 与 K。SD3 的对照实验(论文 Figure 5)显示,不加这层归一化时,注意力 logits 的量级随训练持续增长,接着注意力熵塌缩到接近均匀分布的反面(少数几个位置吃掉全部权重),训练随即失稳。加了 QK-Norm 后,logit 量级被限制住。
这个改动对推理同样有参考价值。注意力 logits 的量级直接决定了低精度下点积和 softmax 的数值余量:没有 QK-Norm 的模型,在 FP8 注意力路径里更容易出现 logits 溢出或指数项饱和,表现为个别请求输出乱码或直接 NaN。工程上把一个老模型搬到低精度推理时,在 QK 前补一层 RMSNorm 通常比事后调 softmax 的数值技巧更稳妥,代价只有两次逐头的归一化。
双流之后:单流与原生多模态
MMDiT 之后,主干设计出现了两个方向的演化:
- 双流 + 单流混合:Flux 一类模型在若干双流 block 之后,把文本与图像 token 直接拼成一条序列,进入参数共享的单流 block。双流阶段保留模态特有的处理,单流阶段用共享权重降低参数量、增加跨模态融合深度。这相当于在”完全分离”与”完全共享”之间取了一个折中。
- 原生多模态:当文本、图像、音频、视频都被切成 token,主干不再区分”主体模态”与”条件模态”。文本可以是输入也可以是输出,图像同样如此;条件注入不再需要单独的 cross-attention 通路,所有模态在同一套注意力里交互。这是从”文生图模型”走向”通用生成模型”的结构基础,也是 MMDiT 这个名字里”multimodal”的真正含义。
需要说明的是,原生多模态主干的代价是 token 预算的重新分配:文本 token 与图像 token 共享同一个注意力窗口,文本越长,留给图像 token 的算力越少。这与自回归多模态模型面对的上下文预算问题本质相同。
第四层补:位置编码与长序列——主干如何知道 token 在哪儿
主干处理的是被打散的 token 序列,位置信息必须由外部注入。这一小节的结论直接影响分辨率外推与长图推理的成本。
位置信息进入主干的三条路线
绝对位置编码是 DiT 采用的方式:它沿用 ViT 的频率式编码,把二维 patch 的横纵坐标分别展开成不同频率的正弦、余弦对,再拼成与 patch 嵌入同维的向量相加。它的优点是实现简单、不同坐标可以相互区分;问题在于它是绝对位置:模型学到的是”第几行第几列的向量长什么样”,分辨率提高后 token 网格变大,没见过的绝对坐标只能靠插值外推,而这个外推误差会直接进入每一层的注意力。
一维正弦位置编码同时出现在两处:时间步 t 的嵌入,以及某些模型对一维序列的位置编码。时间步的形式是
PE(t,2i)=sin(ωit),PE(t,2i+1)=cos(ωit),ωi=10000−2i/d它的好处是频率分段、不同尺度的进度可以相互区分,而且相邻时间步的编码连续;这正是扩散主干能从 t 的嵌入里读出”当前噪声水平”的原因。缺点是一维编码没有横向与纵向的独立性,直接拿来编码二维 patch 网格会丢失空间结构,因此二维主干通常采用上一种逐坐标展开的写法。
二维频率编码加裁剪外推 是 SD3 一类模型的做法。它仍是频率式编码,但把横纵坐标分别展开成位置网格,嵌入时按目标分辨率从更大的二维网格中心裁切。SD3 论文里给出的结论很实用:在固定分辨率训练之后,要同时提高分辨率并支持任意宽高比,2D 频率编码比可学习位置嵌入更可靠,因为它不需要为每个新坐标学一个新的向量,只需要在更密的网格上取样。Flux 一类模型在此基础上又引入了与二维网格绑定的 RoPE 变体,让注意力打分主要依赖相对偏移。
对推理的意义:分辨率外推不是免费的
频率式二维位置编码让外推变得可行,但不代表外推没有代价。token 数从 N 涨到 N′ 后,注意力成本按 (N′/N)2 增长;同时位置分布的外推尾部(远离训练时出现过的偏移范围)误差更大,表现为边缘区域的结构崩坏或重复纹理。工程上常见的缓解手段是:
- 分辨率分阶段微调:先在低分辨率训练,再逐步提高,让模型见过更大的位置范围。
- 位置插值与缩放:对位置索引做缩放(类似语言模型里的 YaRN),把外推范围压回训练分布附近。
- 分块推理:把大图切成若干块,每块单独去噪再拼接,以 N 的线性增替换 N2 的增长,代价是块间接缝与全局一致性需要额外处理。
这三条与语言模型的长上下文外推是同一类问题,可参考 Linear Attention 完全拆解 中对序列长度与注意力复杂度的分析。
第五层:条件控制的落点——同一主干、不同注入通路
条件控制(conditional generation)经常被当成”扩散模型的能力”,但从主干角度看,它只是回答一个问题:额外的控制信号从哪一层、以什么路径进入主干。理解了 U-Net、DiT、MMDiT 各自的注入方式,就能把各种控制方法归位。
四类注入通路
通路一:全局标量条件(class embedding)。 类别标签、风格标签、美学分数都属于这一类。它们在 DiT/MMDiT 里走 adaLN 调制,在 U-Net 里走 ResBlock 的仿射参数。代价最低:每层只多一次逐通道的乘加。限制也最明显:只能表达全局属性,无法指定”某个区域”。
通路二:序列条件(文本、条件 token)。 文本走 cross-attention(U-Net)或联合注意力(MMDiT)。这一通路能表达 token 级的对应关系,代价是注意力成本随条件长度增长。对长提示词,文本 token 数从 77 涨到几百,cross-attention 的成本线性增长,联合注意力则因平方项增长更快——这是长文本生成在服务端的真实瓶颈之一,与语言模型的长上下文问题同构,只是主体是图像 token。
通路三:空间条件(控制图、深度图、边缘图)。 ControlNet 一类方法的做法是:复制一份 encoder 权重作为”控制分支”,用零初始化的卷积把控制图注入每个分辨率层。从主干角度看,这本质上是给 U-Net 增加了一条并行的 encoder 加 skip 注入;放到 DiT 上,等价于给部分 block 增加一个”额外 token 流”或”额外调制来源”。这条路能表达像素级空间约束,代价是参数翻倍(复制 encoder)和额外的激活显存。
通路四:潜变量条件(参考图、inpainting 掩码)。 inpainting 把”保留区域的 latent”与掩码一起作为额外通道拼进输入;参考图一类方法把参考图的 latent 作为条件 token 或额外通道。这类通路不需要改主干结构,只是改输入张量的通道数或序列长度——这也是它最容易被工程实现的原因。
为什么”输入通道拼接”几乎总是首选
对比四种通路,通路四的工程成本最低:改输入形状,不改网络。这与卷积主干天然兼容(通道数可以任意扩展),在 DiT 上也只是 patchify 的输入维度变大。代价是:控制信号只在输入处进入一次,需要网络自己把信息传播到所有层;对细粒度、局部性的控制,这种”一次性注入”的效果通常不如逐层注入稳定。
这解释了一个常见的工程取舍:如果控制信号是全局或低频的(inpainting 区、整体色调),通道拼接几乎够用;如果是像素级高频的(边缘、姿态),逐层注入的 ControlNet 类方法更可靠,但成本和实现复杂度都更高。
第六层:算力账——不同主干在推理侧的成本结构
主干选择最终要落到推理成本上。这一节用一个统一的模型来比较 U-Net 与 DiT 类主干的浮点开销,帮助理解为什么 transformer 主干在高分辨率下更”贵”,以及为什么各种工程手段(patch 尺寸、注意力稀疏、缓存)集中在这条轴上。
主干的 FLOPs 分解
对 DiT,单个 block 的主要开销是线性层与注意力。设 token 数 N、隐藏维 d、层数 L,按乘加(MAC)计:
MACsDiT≈L(12Nd2+2N2d)第一项来自 QKV 投影(3Nd2)、输出投影(Nd2)与扩张比为 4 的 MLP(8Nd2);第二项来自注意力的 QK 点积与加权求和,各 N2d。若按浮点运算计,整个式子再乘 2。两项的相对大小决定了主干是”线性层受限”还是”注意力受限”:
线性项注意力项=12Nd22N2d=6dN以 DiT-XL/2 为例,d=1152。在 256×256、P=2 时 N=256,比值约 0.037,线性项占绝对主导,单 block 约 4.2×109 次乘加;把分辨率提到 1024×1024,N 变为 4096,比值升到 0.59,单 block 约 1.04×1011 次乘加,约为前者的 25 倍,而参数量完全不变。再往上到 2K 分辨率,N=16384,注意力项就会超过线性项。这就是高分辨率 DiT 的核心矛盾:参数规模不变,推理成本按分辨率的平方涨,而且涨出来的部分主要是注意力。
U-Net 的成本结构不同。卷积层的开销与像素数线性相关(每个输出像素做 k2⋅Cin⋅Cout 次乘加),attention 只在低分辨率层插入,因此总 FLOPs 大致随像素数线性增长。这正是 U-Net 在超高分辨率下的优势:它的成本曲线更平缓。代价是表达能力的上限更低。
推理侧的实际瓶颈:不是 FLOPs,而是显存带宽与 kernel 效率
FLOPs 账只说明理论下限。实际推理里,DiT 的时间更多花在:
- 中间激活的读写:每层每个 token 的激活都要写回 HBM,N 增大后激活显存随 N 线性增长,带宽压力随之上升。
- 注意力的 kernel 效率:N2 的 attention 在 N 上千后对 tile 划分与 SRAM 复用非常敏感,没有 FlashAttention 类实现时实际吞吐可能只有理论峰值的很小一部分。
- 条件 token 的额外注意力:MMDiT 的联合注意力让文本 token 参与每层注意力,Nt 越大,额外开销越显著。
因此,DiT 类主干在工程上的优化方向很清楚:patch 尺寸与分辨率解耦(大图用小 patch 保证细节,但用分块推理控制 N)、注意力的分块与稀疏化、文本侧缓存(同一个 prompt 的文本嵌入与 K/V 在多步采样间不变,可只算一次)。这一条思路与语言模型推理里”KV Cache + 分块注意力”的优化逻辑一致,可参考 Linear Attention 完全拆解 中关于注意力复杂度与实现代价的讨论。
局限与未解决的问题
主干演进到 MMDiT 之后,仍然有几个没有定论的问题。
一是 patchify 的边界效应。 固定网格的 patch 划分对不规则结构并不友好:当图像中的物体边界恰好跨过 patch 边界时,细节会被投影进不同的 token,重建时容易出现接缝。后续工作尝试了重叠 patch、可变形 patch、以及在 patch 内再插注意力,但都没有形成普遍方案。
二是”双流”与”单流”的最优点没有理论。 Flux 一类模型的双流→单流比例是经验调出来的,参数量、融合深度、训练数据量都会影响这个比例。缺少一个能预测”在给定模型规模下该用多少层双流”的分析工具。
三是条件通路的统一表示。 文本、控制图、参考图走的通路各不相同,对应的训练与推理代码也各不相同。原生多模态主干理论上可以把它们都变成 token,但 token 预算如何在不同模态间分配、如何避免某个模态被”稀释”,还没有形成标准做法。
四是训练与推理的配方耦合仍在。 SiT 已经说明路径与损失加权必须配套;MMDiT 又给每个模态加了独立调制。这意味着更换主干或路径时,超参搜索几乎要重做一遍,这对小团队复现前沿模型是不小的门槛。
小结
这条演进线可以浓缩成三层判断:
- U-Net 的卷积先验在扩散早期非常合适,但在规模、分辨率与长文本条件三方面都碰到了结构性上限。 它不是”过时”,而是在数据与算力增长后,手工先验的收益被可学习先验超过。
- DiT 把”主干”变成可扩展的 transformer,adaLN-Zero 把全局时间条件以几乎零成本注入每一层。 它证明扩散过程不依赖卷积先验,也把主干的成本结构从”随像素线性”变成”随 token 平方式”。
- SiT 与 MMDiT 分别改了两条轴:前者说明路径、损失与时间注入是配套设计,不能孤立更换;后者说明条件不必走旁路,文本可以在同一注意力里与图像共同建模。两者的共同含义是:扩散模型的主干设计已经从”选 U-Net 还是 transformer”,变成了”多模态 token 如何在一条主干里分配算力与条件通路”。
对推理工程而言,这条演进最直接的影响是:主干的推理成本结构决定了优化手段的落点。卷积主干的优化集中在算子融合与低精度卷积;transformer 主干的优化集中在注意力 kernel、条件缓存与 token 预算。理解了主干的成本账,才谈得上选择正确的优化方向。
参考资料
- Denoising Diffusion Probabilistic Models
- U-Net: Convolutional Networks for Biomedical Image Segmentation
- High-Resolution Image Synthesis with Latent Diffusion Models
- Scalable Diffusion Models with Transformers(DiT)
- SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
- Scaling Rectified Flow Transformers for High-Resolution Image Synthesis(SD3 / MMDiT)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



