正在获取所在地区…
正在读取天气
音乐
暂未播放
扩散模型从零讲起(十五):可控生成——ControlNet、T2I-Adapter 与 IP-Adapter 如何把结构条件注入去噪网络
写在前面:文本条件管不住像素的位置
第十四篇讲编辑时留下了一个悬而未决的问题:反演只能决定”从哪个噪声点出发”,真正决定”改哪里”的是条件本身。而在此之前的所有篇章里,条件几乎只有一种形态——一段文本。文本条件在语义层面很强,在几何层面却极弱:它能说”一个穿红裙子的女孩站在窗边”,但无法指定她的左手应该抬到肩膀高度,也无法保证生成的门框与设计稿里那根线重合。
这就引出了扩散模型落地时绕不开的一层结构:空间条件与参考图条件。前者是一张与目标图像逐像素对齐的控制图——深度图、人体姿态骨架、Canny 边缘、分割掩码、法线图;后者是一张不要求对齐的参考图——某个人的脸、某种画风、某件商品。两类条件进入去噪网络的方式不同,成本也不同,但它们共同构成了今天可控生成工具的技术底座。
本篇接着第四篇的条件注入通路往下讲。第四篇解决的是”文本如何进入网络”,答案是 cross-attention、adaLN 与 MMDiT 双流共享注意力;本篇解决的是”当条件是一张图时,如何在不破坏原模型的前提下把它接进去”,答案集中在三类适配器:ControlNet 的副本编码器、T2I-Adapter 的轻量旁路、IP-Adapter 的解耦交叉注意力。它们分别对应三种截然不同的工程哲学:复制并锁定、旁路并相加、扩展注意力并加权。
理解这三者,也就理解了为什么 2023 年之后几乎所有稳定的图像生成产品都在”基础模型 + 若干适配器”这个结构上做文章,而不是为每一种控制能力重新训练一个大模型。
一、为什么”再训练一个条件模型”不是答案
文本条件的三个结构性缺陷
先把问题的严重程度摆清楚。一个只在文本上训练的扩散模型,在下面三件事上几乎无能为力:
- 空间精确定位。文本描述的是语义关系(“红色”、“在左边”),不是坐标。当模型需要把某条线画在特定位置时,文本条件提供的信息量远远不够,同一句提示词在不同随机种子下会给出大量不同的布局。
- 结构复用。产品设计、建筑可视化、室内效果图这些场景的核心诉求恰恰是”保持结构、更换外观”。结构由用户提供,模型负责渲染。纯文本条件意味着每次都要从零生成一个新布局,结构无法被强加。
- 参考一致性。让生成的人脸与某张给定照片相似、让生成的角色保持同一套服装与画风,需要模型”看到”参考图本身;文本编码器把参考图转成几十个 token 时,身份信息已经大量丢失。
微调的代价
最直接的办法是为每个条件模态微调一个完整模型:有姿态条件就微调一版姿态模型,有深度条件就微调一版深度模型。这在 2023 年前后的硬件条件下代价极高。以 ControlNet 工作使用的 Stable Diffusion 1.5 为例,它的 U-Net 在 Hugging Face 上以 FP32 存储时约 8.6 亿参数,每个模态都要复制一份并重新训练。更严重的问题不是显存,而是灾难性遗忘:在深度条件上大量微调之后,模型原有权重里学到的常识与先验会被新数据冲淡,生成质量整体下降。ControlNet 论文在相关工作里专门讨论了这类现象,以及已有的一些缓解办法——限制可训练参数的数量或秩(LoRA 一类)、加法式学习只引入少量新参数、旁路网络(Side-Tuning)等。可控生成的适配器设计,本质上就是在这些缓解办法里寻找最适合”空间条件”的形状。
三条设计约束
ControlNet 的技术报告把可控生成必须满足的条件归纳得很清楚,可以看作此后所有适配器设计都要遵守的约束:
- 条件必须与提示词保持强绑定:控制图必须能被文本重新解释。给一张姿态骨架,再给一句”穿黑色皮衣的舞者”,模型应当让骨架里的人物穿上皮衣,而不是画一个与骨架无关的人。
- 条件必须与提示词保持弱耦合:反过来,当提示词描述的语义与控制图在细节上不完全一致时,不能让条件完全压制文本,也不能让文本完全忽略条件。论文在训练时随机把 50% 的文本提示词替换为空字符串,正是为了让模型具备”直接读懂控制图语义、把控制图当提示词用”的能力;如果条件与文本强弱不能分开调节,这两件事就无法兼顾。
- 条件必须能泛化:在常见、简单、可自动生成的条件(Canny 边缘、深度估计、姿态检测)上训练出来的模块,应当能直接用于无法自动生成的条件(草图、人体涂鸦),不需要重新训练。这一条对实际可用性至关重要,因为用户手绘的东西不可能与训练集里的”标准条件图”分布一致。
这三条约束合起来,决定了不能简单地”把控制图拼到输入通道里一起训练”。第三条尤其严格:手工草图与 Canny 边缘图在像素分布上差别巨大(前者只有稀疏的几笔,笔画宽度随意),但如果训练得当,一个学会了”沿着线画”的模块应该对两种输入的表现相似。后面会看到,ControlNet 能做到这一点,依靠的恰恰是它最核心的设计——零初始化的连接层。
二、ControlNet:复制编码器,再用零卷积接回去
ControlNet 由 Lvmin Zhang、Anyi Rao、Manfred Erkelens 于 2023 年 2 月完成,论文题为 Adding Conditional Control to Text-to-Image Diffusion Models,2023 年 ICCV 上发表。它解决的核心问题是:如何在保留预训练模型全部能力的前提下,给它加一个能够读取空间条件的并行分支。
从一个神经块出发:锁定、克隆、再连接
论文没有一上来就讲 U-Net,而是先把问题抽象到一个最小单元。设有一个已经训练好的神经块,参数为 Θ,把输入特征图 x∈Rh×w×c 映射为输出特征图:
y=F(x;Θ)这个块可以是 ResNet 残差块、Transformer 块或任何其他结构。要给它加条件,论文的做法是三件事:
- 锁定原块的参数 Θ,训练过程中永不更新;
- 克隆原块为一个可训练副本,参数记为 Θc;
- 让两个副本同时接收原输入 x,可训练副本额外接收条件输入 c,然后用零卷积把可训练副本的输出接回原块。

上图来自 ControlNet 原论文。左侧 (a) 是一个普通的神经块 F(x,Θ);右侧 (b) 展示了改造后的 ControlNet 单元:原块被灰色锁定,旁边是蓝色、标注为 “trainable copy” 的克隆块;克隆块的两个输出(Z(y))与额外输入的零卷积输出(Z(c))先与原块输出 y 相加,再送入下一个块。拆开来看,有两个零卷积:一个接可训练副本的”主输出”,一个接条件输入 c 本身。前者的作用是让克隆块对主干的影响从零开始,后者的作用是让条件信号进入克隆块的入口也从零开始。
写成公式,对第 i 个块:
yi=Fi(xi;Θ)+Zi(Fc(xi+Zc(c);Θc))其中 Zc 与 Zi 都是 1×1 卷积,权重与偏置全部初始化为 0。这个式子有两个细节值得注意:
- 条件 c 不是直接喂给克隆块,而是先经过一个零卷积再与输入 xi 相加。这一步让”条件”变成”一种加在输入上的偏置”,并且这个偏置也从小等于零。
- 原块的输出 Fi(xi;Θ) 始终原样保留,克隆块只贡献增量。这正是”加法式学习”的思想在这个问题上的具体形态。
落到 U-Net:只复制编码器与中间块
Stable Diffusion 的去噪主干是一个 U-Net。论文只把其中的编码器块与中间块复制成可训练副本,解码器不复制:

上图来自 ControlNet 原论文,是理解整个结构最关键的一张图。左列是原版 Stable Diffusion 的 U-Net:输入 zt 与时间步 t 进入编码器,依次经过四个分辨率的编码块(64→32→16→8),中间块位于最底部,再沿解码器逐级上采样回 64 分辨率,输出噪声预测 ϵθ(zt,t,c,cf)。右侧那一列是 ControlNet:编码器四个块与中间块各复制了一份,通道数与原块完全一致,因此各层的特征也能对齐。图中反复出现的白色小块就是零卷积:条件输入进入克隆块前经过一个零卷积,每个克隆块的输出也各自经过一个零卷积,再与左侧同分辨率、同通道数的原块输出相加。解码器一侧则完全没有复制,所有标注为零卷积的箭头(图中写作 “zero convolution ×3”,表示解码器某层有三个这样的连接)都指向解码器原本的输入。
只复制编码器有三个理由:
- 条件最需要在特征提取阶段参与。编码器负责把输入逐步抽象成多尺度表示,条件信息正是在这个阶段被”消化”进特征;解码器负责把抽象特征还原成像素,条件在这时已经进入表示里了。
- 解码器的计算量更大。U-Net 解码器带 skip connection、上采样与两个卷积,整体计算量大于编码器;不复制它,训练时每次迭代的显存与时延增量才控制得住。论文实测:在一块 A100 PCIe 40GB 上,用 ControlNet 优化 Stable Diffusion,训练每次迭代只比不安装时多约 23% 显存、多约 34% 时间。
- 冻结的副本保证原模型能力不被破坏。冻结副本原样保留预训练模型从数亿张图像中学到的全部先验,可训练副本只负责学习”如何把条件翻译成特征”。这从根本上绕开了灾难性遗忘。
零卷积:为什么从 0 开始反而是最优的起点
零卷积是 ControlNet 里最反直觉、也最关键的设计。设想不做零初始化:可训练副本的接入层如果随机初始化,那么从第一步训练开始,控制分支输出的就是一个随机量,它会被直接加到原本正常的特征上。结果就是:即使控制图是空白输入,原模型的特征也被随机噪声污染,生成质量立刻崩溃;模型为了修复污染,会先去学”如何把噪声抵消掉”,这与我们要它学的”如何利用条件”完全不是一回事。
现在让 Z 的权重为 0。由于 Z(Fc)=0⋅Fc+0=0,训练第一步就有
yi=hi+0=hi控制分支对输出没有任何影响:无论控制图给的是什么,网络前向行为都与原模型完全一致。对零卷积参数求梯度(以权重矩阵 WZ 为例),链式法则给出:
∂WZ∂L=u,v∑∂yi(u,v)∂LFc,(u,v)梯度只取决于下游反传的敏感度 ∂L/∂yi 与该层输入 Fc 在空间位置 (u,v) 上的值,不依赖 WZ 当前取值。这就是零初始化能够稳定启动的根本原因:普通线性层的梯度会正比于输入(对输入权重而言),当输入很大时容易导致初期的数值不稳;而零卷积的梯度永远不会因为”权重一开始很大”而出问题——它一开始就是 0。
论文把这个过程概括为”零卷积让参数从零开始渐进增长”,并观察到训练中一个有趣的现象:突然收敛(sudden convergence)。由于零卷积不向网络注入噪声,整个训练过程模型始终能预测高质量图像;但在某一步(论文图示里标记的是第 6133 步)之后,模型会一下子学会跟随控制图,而不是逐步地、一点点地学会。论文推测,这正是因为零卷积的权重从 0 增长到一定尺度之后,条件分支的输出才开始在数值上真正起作用——在此之前,增量一直处于”可忽略”的区间。
这个现象对工程很重要:训练中途的 checkpoint 之间,控制能力差异可能非常大。不能只看损失曲线判断训练进度,必须用验证图观察”条件是否真的被跟上了”。
训练细节与实验口径
论文的训练配置可以对照:
- 在 Stable Diffusion 1.5 上训练,原模型参数全部冻结;
- 用控制图—图像—文本三元组训练,文本提示词以 50% 概率替换为空字符串;
- 条件图像从图像自动提取:Canny 边缘、M-LSD 线、HED 软边缘、Midas 深度、OpenPose 姿态、ADE20K 语义分割、法线图;
- 数据规模并非门槛。论文专门做了数据量实验:只用 1000 张图训练也不会崩,还能生成可辨认的狮子;数据越多,效果越好。更直接的证据是 SD V2 的深度控制对照:SDv2-D2I 用大规模 A100 集群、上千 GPU 小时、超过 1200 万张训练图;而对应的 ControlNet 只用了 20 万样本、单张 RTX 3090Ti、训练 5 天。随后让 12 位用户区分两者生成的 200 张图,平均判断精度只有 0.52 ± 0.17——接近随机猜测。
- 训练完成后,ControlNet 权重是独立的一部分,Hugging Face 上公开的 ControlNet v1.1 检查点约 3.6 亿参数(FP32),相当于原 U-Net 的四成多。
论文还报告了几组对照,用来解释为什么零卷积带来的”突然收敛”不妨碍最终质量。用户排名实验中,完整 ControlNet 在”结果质量”与”条件保真”两个维度上都高于去掉可训练副本的简化版(论文称为 ControlNet-lite):条件保真度 4.28 对 4.09,结果质量 4.22 对 3.93(1 到 5 分制)。这说明那半个可训练编码器并非可有可无——它承担了”把条件翻译成与原模型同分布特征”的主要工作。
推理时的开销与预计算
推理时,每步采样多一次与 U-Net 编码器同规模的计算。按 ControlNet-XS 论文给出的公开实测:在 50 个 DDIM 步、batch size 10 的设置下,ControlNet(约 3.6 亿参数)的推理耗时约 1 分 11 秒,而只加基础模型的对照(同文表内)差异明显。换成一个 20 步、单张图的单次请求,额外计算大约相当于原模型每步计算量的三到五成。
工程上有一个可以显著摊薄这份成本的细节:控制图本身的编码与下采样与时间步无关。控制图 c 进入克隆块前只经过一个很小的卷积编码器(论文配置里是 4 层卷积,通道数 16/32/64/128,激活 SiLU),它不随时间步变化,因此可以在一张控制图上只算一次,把结果缓存起来,每个去噪步只执行可训练副本与零卷积。服务实现里,“控制特征预计算”是一个几乎必做的优化。
可组合性:多个控制器线性叠加
单控制器的故事并不长,ControlNet 真正的实用价值来自可叠加。由于每个分支结构完全相同,论文直接让它们的输出相加再注入主干:
yi=hi+k=1∑KwkZi,k(Fc,k(xi+Zc,k(ck);Θc,k))wk 是第 k 个控制器的强度系数,ck 是第 k 个控制图(边缘、深度、姿态……)。论文以”深度 + 姿态”为例展示了双控制器效果:

上图来自 ControlNet 原论文。左侧一行是深度图与姿态图的叠加,右侧是仅用姿态骨架时的结果,而其余各列是深度和姿态双条件共同作用下的生成结果——人物的空间层次由深度决定,造型与动作由骨架决定。
叠加的代价按控制器数量线性增长:两到三个 ControlNet 同时开启时,采样耗时可能接近原模型的两倍甚至更高。这是后来 T2I-Adapter 与 ControlNet-XS 出现的主要动机之一。
一个常被忽略的问题:CFG 与控制的分工
用户在实际使用 ControlNet 时经常遇到一个现象:条件看似被采用,但”细节失真”——按照深度图生成时,物体位置对了,但提示词描述的内容没有画准。论文在实验里区分了两件事:条件决定”哪里画什么形状”,CFG 决定”用什么内容去填充这些形状”。当 CFG 强度较高时,模型的语义跟随更强,但空间布局会被 CFG 的”放大”效应推离控制图;论文据此提出了一个按分辨率降低 CFG 影响的方案(CFG Resolution Weighting),即对不同分辨率的特征层施加不同的 CFG 权重,让低分辨率(大形状)的层更多服从控制图,高分辨率(细节)的层更多服从文本。这是对”条件与文本如何分工”最早的一份定量回答,也是今天各类工具里”CFG 与控制器强度要联调”这一经验做法的来源。
三、ControlNet-XS 与其它改法:让控制分支跑得更快
ControlNet 的弱点很明确:控制分支太重。它的计算量约等于半个 U-Net,推理时最慢的一块往往就是它。后续工作沿着”减少控制分支规模、改变连接方向”两个方向做了改良。
ControlNet-XS:把控制写成反馈闭环
ControlNet-XS 发表于 2023 年 12 月,其 2024 年 ECCV 版本题为 Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems。它把 ControlNet 的”强条件”(复制整个编码器)换成”弱条件”:控制网络镜像主干的编码器结构,但每个块的通道数是主干对应块的 r 倍,论文取 r=0.2,因此整个控制网络只有千万级参数。
更关键的是连接方向。ControlNet 是”控制分支只接收条件与原输入,输出单向加回主干”;ControlNet-XS 改成双向:主干编码器的中间特征也被传送给控制网络,控制网络把这些特征与条件联合处理后,再以”加法修正”的形式返回给主干的各个块。论文把这种结构称为”从控制网络到生成网络提供加法修正连接”,对应的是控制论里”控制器观测被控对象状态、再施加修正”的闭环。它的一个直接收益是:主干生成时走到的中间状态被控制网络看到了,控制就可以根据”图像当前长什么样”来动态调整,而不是”对每一步都施加同一个常量偏置”。
论文的消融给出了规模与质量的关系表(深度控制,FID 越低越好):
| 模型 | 参数量 | FID ↓ | 深度 MSE ↓ | LPIPS ↓ |
|---|---|---|---|---|
| ControlNet | 361M | 19.01 | 29.1 | 0.532 |
| CN-XS Type A | 53M | 17.11 | 20.9 | 0.492 |
| CN-XS Type B | 55M | 16.36 | 19.6 | 0.468 |
| CN-XS Type C | 117M | 16.24 | 20.2 | 0.476 |
参数少了一个数量级,FID 反而更低。论文进一步扫描了 Type B 的规模:491M、55M、11.7M、1.7M——性能从 491M 到 55M 略升,再往下持续下降,因此选择 55M 作为最佳尺寸。这说明控制分支存在”足够用”的规模下限:低于这个下限,即使结构再精巧也补不回来。
推理与训练时间的对比更说明问题(depth 控制,50 DDIM 步、batch 10,A100):
| 方法 | 推理耗时 | 训练耗时 |
|---|---|---|
| ControlNet(361M) | 1 min 11 s | ~500 A100 GPU·h |
| ControlNet-XS(55M) | 38 s | ~200 A100 GPU·h |
单张 55M 控制网络把推理时间压到了 ControlNet 的约五成(38/71 ≈ 0.54),训练时间压到四成。这个量级对于需要”每步都跑控制器”的扩散采样非常关键——采样步数通常 20 到 50,控制分支的每步开销都会被放大 20 到 50 倍。
其它方向的改良
ControlNet 之后出现了一批针对特定问题的变体,思路大体可以归为几类:
- 压缩分支:在时间维度与通道维度上复用编码结果,让控制分支对每步只做一次轻量更新;
- 条件复用:把一次提取的控制特征跨多个去噪步复用。这与第八篇讨论的跨步特征缓存思想同源,前提是条件对该步噪声档相对不敏感;
- 输入拼接:把条件直接拼入 U-Net 输入通道,再单独训练一个小的输入适配层,省去整个副本编码器;
- 逐层注入:把控制特征只注入到若干选定的块,而不是每一层。ControlNet-XS 论文的敏感性分析表明,不同块对条件误差的敏感度差别很大,只在关键位置施加修正也能保持精度。
这些改良的方向一致:在可接受的控制精度损失下压缩控制分支的成本。对服务端来说,一个请求的采样步数乘上每个控制器的额外分支前向,决定了并发能力;多控制器组合时,这类压缩几乎是必选项。
四、T2I-Adapter:先学条件,再教主干
T2I-Adapter 与 ControlNet 几乎同时出现:论文 Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models 于 2023 年 2 月首次提交,随后修订,作者来自腾讯 ARC 实验室(Chong Mou 等)。它回答的是同一个问题——如何给冻结的扩散模型加空间条件——但给出的解法与 ControlNet 完全不同。
核心思想:控制分支是一张”条件说明书”
T2I-Adapter 的出发点是一个观察:扩散模型的 U-Net 解码器其实已经具备”把结构化特征画成图像”的能力,缺少的只是结构信息本身。既然这样,我们不必复制整个编码器来”重新学会提取特征”,只需要一个足够小的网络,把控制图翻译成 U-Net 能理解的、多尺度的特征集合。论文把这种定位概括为四条优势:即插即用(不影响原网络结构与生成能力)、简单小巧(约 7700 万参数、约 300 MB 存储)、灵活(每种控制条件对应一个独立适配器)、可组合与可泛化(不同适配器可叠加,可在同一系列的自定义模型上直接复用)。

上图来自 T2I-Adapter 原论文(简化自其结构总图)。右侧冻结的 Stable Diffusion 由文本编码器、U-Net 与 VAE 组成;左侧是若干个独立的 T2I-Adapter,每个适配器接收一种条件图,输出四个尺度的条件特征,以加法方式注入 U-Net 编码器对应的四个尺度。原模型的所有参数都冻结,训练只发生在适配器内部,因此多个适配器的特征提取可以独立进行。
拆开来看,T2I-Adapter 有几处与 ControlNet 有本质区别:
第一,它不复制主干。 U-Net 完全冻结,没有任何可训练副本。适配器的结构是:四个特征提取块加三个下采样块。条件输入分辨率是 512×512,先用 pixel unshuffle 把它降到 64×64 以提高计算效率,然后在每个尺度上用”一层卷积 + 两个残差块”提取特征。最终得到四组多尺度特征 Fc={Fc1,Fc2,Fc3,Fc4},维度与 U-Net 编码器四组中间特征 Fenc 一一对应。论文还给出了 small 与 tiny 两个压缩版本(中间特征通道做 ×4、×8 压缩),参数更少。
第二,连接方式是纯加法,没有零卷积。 注入公式可以一行写完:
Fc=FAD(C),F^enci=Fenci+Fci,i∈{1,2,3,4}FAD 是适配器网络,C 是条件图。这里没有任何零初始化机制,适配器从随机初始化开始,训练的第一步就会对主干特征产生非零扰动。T2I-Adapter 不需要零卷积,是因为它的目标更窄:它只学”在冻结主干的既有特征上加一个偏置”,不复制编码器、不重新学习特征提取;训练完成后移走适配器即回到原模型。代价是训练初期的稳定性不如零卷积方案,条件与主干的对齐完全靠适配器自身的训练达成。训练配置也相应简单:SD 全部冻结,batch size 8,10 个 epoch,Adam,学习率 1×10−5,损失与 SD 相同的噪声预测损失。
第三,适配器要参与每个去噪步。 这是它比 ControlNet 更”简单”,但也有一个工程隐患的地方:ControlNet 的克隆块与零卷积逐层接入,条件信息在每个分辨率层都得到处理;T2I-Adapter 只在四个尺度注入。论文的消融(Table 2)证明了注入点位置的选择非常重要——把注入放在”编码器 + 解码器”,或只放解码器,都不如只在编码器注入(在 FID 17.36 对 18.08/18.32 的对比中,解码器一侧的注入反而拉低了指标)。
训练里两个不太显眼但很关键的设计
第一,时间步采样要偏向”大噪声”端。 T2I-Adapter 论文发现,把 DDIM 采样的前后三等分后,只在”开始阶段”(前三分之一,噪声最大的几步)加入条件,效果最明显;中后期加入条件几乎不起作用——生成结果的主体内容在大噪声阶段已经确定。为了在不引入时间嵌入的前提下让适配器在大噪声段学到更多,论文把训练时的时间步采样从均匀分布改为三次方偏置:
t′=(1−(Tt)3)×T,t∼U(0,T)这里的 t 是均匀分布上的采样值,t′ 才是实际使用的扩散时间步。记 u=t/T,则 t′/T=1−u3;映射在 u→0(即 t′→T)处的导数 ∣dt′/du∣=3u2 趋于 0,同样的 u 区间被压缩进更短的 t′ 区间,于是 t′ 的分布向 T 一侧堆积——也就是采样更密集地落在大噪声端。论文报告,这个简单改动对颜色控制这类”全局属性”效果的提升尤其明显;不加它时,均匀采样会出现”引导偏弱”的问题。
第二,多适配器组合需要手工调权重。 论文明确承认,多适配器控制时”引导特征的组合需要人工调整”,并把”多模态引导的自适应融合”列为未来工作。这一点与 ControlNet 相同:多个控制器独立训练,叠加时各自的假设都会失效,实际可用的效果依赖经验权重。
为什么小网络也能控制得住
一个自然的疑问是:ControlNet 要复制半个 U-Net 才能控制得好,T2I-Adapter 只用一个千万级网络,凭什么?除了前面说的”注入点选在编码器浅层”之外,还有两点:
- 控制图本身就是高分辨率的结构信息。它与浅层特征在”几何性”上处于同一层次;浅层通道数多、分辨率高,恰好能容纳这种细节。而经过多层下采样,空间信息已压缩成语义,此时再注入代价更大。
- 注入是加法而非替换。F^enc=Fenc+Fc 保留了主干原有的特征,条件只做”叠加偏置”。这是”弱条件”,灵活性高(可与文本强度分开调节),但对”强力控制”场景不够;ControlNet 的强条件在”必须严格对齐”的任务上表现更好。
T2I-Adapter 论文还验证了一个重要的工程性质:在同一系列模型上的可复用性。在 SD-V1.4 上训练的 sketch 适配器,可以直接用到 SD-V1.5 乃至同结构的自定义模型上,不需要重新训练。原因是适配器学习的是”条件图 → U-Net 特征分布”的映射,只要主干的特征空间没有本质变化,这个映射就有效。
五、IP-Adapter:参考图条件与解耦交叉注意力
前面两类适配器处理的都是空间对齐的条件:控制图与目标图像逐像素对应。当条件是一张”语义上相关、几何上不对应”的参考图时,问题形式发生了变化。让用户上传一张人像照片,希望生成的图是”这个人穿红裙在上海外滩”——参考图提供的是身份特征,它没有与目标图对应的像素位置。这类条件走不了卷积通道的逐层相加,必须走注意力通道。
IP-Adapter 论文(Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models,2023 年 8 月,Hu Ye 等)给出了这类条件注入的标准做法,核心词是”文本兼容”:接入图像条件后,原来的文本能力必须原样可用。
图像特征:CLIP 全局嵌入 + 小投影网络
参考图先经过一个冻结的 CLIP 图像编码器,取其全局图像嵌入。这个嵌入与图像描述文本对齐良好,能表示参考图的丰富内容与风格。然后一个仅由”线性层 + LayerNorm”组成的小投影网络,把全局嵌入展开为长度 N 的特征序列,维度与预训练扩散模型的文本特征维度一致,论文取 N=4。
为什么是 4?这是一个成本与表达的折中:序列越长,携带的细节越多,但注意力成本越高;4 个 token 在 SD 的 77 个文本 token 旁边只增加约 5% 的键值总量。后来的 IP-Adapter PLUS 版本改用 ViT 的 patch 级精细特征,把序列拉长,以换取更强的局部细节保持。无论哪种,图像编码器与扩散主干都是冻结的,可训练部分只有投影网络与新增的注意力适配层,总共约 2200 万参数——与论文对照表里从头训练的图像提示模型(例如 unCLIP 约 8.93 亿、Kandinsky-2-1 约 12.29 亿)相比几乎可以忽略。
解耦交叉注意力:两组键值,两个 softmax
回顾第四篇:LDM 的 cross-attention 是
Z′=Softmax(dQK⊤)V,Q=ZWq, K=ctWk, V=ctWvZ 是 U-Net 的查询特征,ct 是文本特征,Wq,Wk,Wv 是原始投影权重。
最直接的做法是把图像特征与文本特征拼接后一起送进这个注意力层。论文明确报告这种做法效果不够好。原因并不难想到:拼接后所有内容共享同一个 softmax 归一化,图像 token 的贡献与文本 token 的贡献被混在同一个概率分布里,两者无法独立调节强弱;而且图像与文本嵌入来自不同的编码器,分布差异大,硬拼在一起会让注意力分配变得不稳定。
IP-Adapter 改为为图像特征新增一个独立的 cross-attention 层,与文本的 cross-attention 并列:
Z′′=Softmax(dQ(K′)⊤)V′,K′=ciWk′, V′=ciWv′其中 ci 是投影后的图像特征。关键的一点:图像注意力复用了文本注意力的同一个查询 Q=ZWq。由于查询共用,每个原 cross-attention 层只需要新增两个投影矩阵 Wk′ 与 Wv′,输出维度与文本侧一致。一个 SD 模型有 16 个 cross-attention 层,也就是新增 32 个矩阵,加上那个小投影网络,总量正好是那 2200 万参数。
最终输出是两路注意力结果的相加:
Znew=文本注意力Softmax(dQK⊤)V+图像注意力λ⋅Softmax(dQ(K′)⊤)V′λ 是推理时可调的权重因子;λ=0 时模型完全退化为原始文生图模型。由于两个 softmax 彼此独立,调节 λ 只改变图像通路的总权重,不改变文本通路内部的相对分配——这就是”解耦”的含义,也是”文本兼容”的来源:任意图像强度下,文本描述的具体内容都保持稳定。
论文还给出了两个便于训练收敛的小技巧。一是新增的 Wk′ 与 Wv′ 直接从文本侧的 Wk 与 Wv 初始化,让图像通路一开始就”会说文本的语言”,避免从随机初始化开始重新学习注意力投影。二是训练时以一定概率随机丢弃图像条件(把 CLIP 图像嵌入置零),使推理时可以像 CFG 一样做”有图像/无图像”的引导:
ϵ^θ=wϵθ(xt,ct,ci,t)+(1−w)ϵθ(xt,t)
上图来自 IP-Adapter 原论文。右侧去噪 U-Net 的每个 cross-attention 层里,文本特征走一条注意力通路,图像特征走另一条独立的注意力通路(图中红色 “Cross Attention”),两条结果相加。左下角标注 “Frozen modules” 的是预训练图像编码器与文本编码器,可训练的只有投影网络与新增的注意力投影矩阵。
结构上的关键取舍
为什么复用同一个查询? 查询来自当前图像的中间特征 Z,它表达的是”这个位置现在需要什么”。文本与参考图是这个位置的两类”知识来源”,用同一个查询去检索它们,才能使两类信息都指向”同一处内容”。若另设一个图像专用的查询,就相当于让图像条件在一个独立的特征空间里工作,与文本条件的协同性下降。
为什么键值长度要短? 图像键值在每步都要参与注意力计算:每层新增一次 m×N 的分数矩阵(m 是查询 token 数,N=4),在 SD 的 16 个 cross-attention 层中累加。N 取 4 时这份开销约为文本部分的 5%;取 16 或 32 时会明显拖慢采样。这与前面 ControlNet 的”半个 U-Net”是同一类成本问题,只不过 IP-Adapter 选择了”很小、但每步都跑”的形态。
图像键值可以跨步缓存。 与文本键值一样,图像特征只计算一次,之后每步只是”共享查询、做一次额外的 softmax 并加权”。这意味着 IP-Adapter 的额外成本主要是注意力 FLOPs 与一点显存,而不是额外的前向网络。
与结构控制器的协同
IP-Adapter 论文专门展示了”图像提示 + 结构条件”的组合效果:同一个参考图配合深度或边缘条件,生成结果既带上参考图的主体,又服从控制图的几何。这一点与 ControlNet / T2I-Adapter 的卷积通路注入互不干扰,因此三类适配器可以同时使用。这也是今天许多产品”线稿/姿态/换脸/风格参考”并存的技术基础。
六、训练:适配器是怎么练出来的
三类适配器虽然结构不同,训练流程有共同点:主干冻结,只训适配部分。不同点在于数据构造与训练调度的细节。
数据构造的三条路
第一,成对数据自动采集。 常见条件(边缘、深度、姿态、分割)可以用现成的视觉模型自动提取。给定任意照片,跑 Canny 得到边缘图、跑 OpenPose 得到骨架、跑深度模型得到深度图,再把”照片 + 提取出的条件图 + 由照片自动生成的文本标注”作为三元组。这类数据可以近乎无限合成,ControlNet 与 T2I-Adapter 主要依赖这条路径。
第二,成对数据人工对齐。 参考图类适配器需要”参考图 + 目标图”在语义上相关,这类数据要么从同一实体的不同图像中搭配,要么用更贵的标注获得。IP-Adapter 以大规模图文对为基础训练,参考图直接取自图文对的图像。
第三,条件增强。 为了满足”泛化到无法自动生成的条件”这条约束,需要对条件图做增强:把边缘图随机退化成手绘草图(随机笔画宽度、去掉部分线条、加入涂鸦),把深度图加入噪声与量化,把姿态骨架小幅扰动。增强后的条件分布比原始提取条件更宽,模型才能在用户手绘、裁剪过的真实输入上正常工作。ControlNet 论文明确报告,训练出的模型可以直接接受”用户手绘”这类与训练数据分布不同的条件,而效果仍在可接受范围。
损失函数
适配器沿用原扩散模型的训练目标(第一篇推导的噪声预测损失):
L=Ez0,ct,ci,t,ϵ∼N(0,I)[∥ϵ−ϵθ(zt,t,τ(y),c)∥22]区别只在于 ϵθ 里多了一个条件 c 的输入入口(对 IP-Adapter 来说是图像条件 ci)。ControlNet 的零卷积初始为 0,所以训练初期 ϵθ(zt,t,τ(y),c)=ϵθ(zt,t,τ(y)),与原模型完全一致;T2I-Adapter 与 IP-Adapter 则通过各自的方式(学习率调度、权重初始化)让条件通路从”接近不生效”的状态开始增长。
可组合地训练多个控制器
多控制器叠加使用时有一个隐藏的坑:每个控制器独立训练时都假设”主干是原模型”,叠加两个之后,两者的注入会互相影响,总效果未必等于各自效果之和。实践中通常采用两种做法:
- 事后加权验证:独立训练,推理时按验证集调每个 wk,简单场景够用;
- 联合微调:在多个控制器同时接入的条件下做一轮小规模联合训练,让每个控制器适应”还有其他控制器存在”的状态。
ControlNet 与 T2I-Adapter 都把多控制器权重调整视为需要人工处理的问题。这也是为什么成熟工具链往往不是”任意两个控制器随便加起来”就能用,而是在验证过的组合上给出推荐权重。
七、推理账本:可选组件的成本结构
一次请求的算力账
把条件适配器放进采样循环后,代码结构大致如下(伪代码,省略了调度器细节):
1# 条件侧:与时间步无关,整个请求只算一次2text_kv = text_encoder(prompt) # 77 个 token3img_kv = ip_proj(clip_image(ref_image)) # 4 个 token4ctrl_feats = [cn.encode(cond) for cn in controlnets]5
6for t in timesteps:7 # 有 CFG 时,条件与无条件各跑一次主干8 eps_cond = unet(z, t, text_kv, img_kv, ctrl_feats)9 eps_null = unet(z, t, empty_kv, None, None)10 eps = eps_null + guidance * (eps_cond - eps_null)11 z = scheduler.step(eps, t, z)这段循环里有三个容易算错的成本项:
- CFG 让一切翻倍。第十三篇已经算过:开启 CFG 时每次采样要走两遍主干。如果控制分支在两次前向里都执行,控制器的成本也翻倍。某些实现(如 diffusers 的
guess_mode)只在有条件的那一路挂控制器,另一路纯文本,这时控制分支的成本不翻倍,但控制强度与控制精度都会下降——这是一个必须显式选择的部署参数。 - 控制器的成本按”每步、每分支”叠加。设主干单次前向成本为 B,一个控制分支的相对成本为 ρ,采样步数 S,控制器数量 K,开启 CFG 时总成本大致为
取 S=20、ρ≈0.4、K=1,总成本约 20×1.8B=36B;若不开 CFG,则是 20×1.4B=28B。两个控制器的 CFG 请求会到 20×2.2B=44B——这就是”多控制器让延迟翻倍”的具体来源。 3. 条件侧缓存只能省掉很小的部分。文本键值、图像键值、控制图的编码特征都能一次性算好,但它们相对整条采样链的开销很小;真正的大头是”每步的主干与控制器前向”。因此把条件特征缓存下来是必要的工程卫生,却不是性能优化的主战场——想要显著加速,只能从减少步数、蒸馏、量化、缓存主干中间特征这些方向入手。
把三类适配器放到同一个服务里,一个请求的成本结构如下表(以单张 512×512、20 步采样为例,参数为公开检查点的量级):
| 组件 | 参数量 | 每步额外计算 | 条件侧可复用 | 适用条件类型 |
|---|---|---|---|---|
| 原扩散模型(SD1.5 U-Net) | 约 8.6 亿(FP32) | 基准 | 文本键值缓存 | 文本 |
| ControlNet v1.1 | 约 3.6 亿 | 约 +30% 至 +60% | 控制图编码可预计算 | 空间对齐条件 |
| ControlNet-XS | 约 5500 万 | 十几到二十几个百分点 | 主干中间特征每步不同,不能整体缓存 | 空间对齐条件 |
| T2I-Adapter | 约 7700 万(tiny 更小) | 几个百分点 | 条件特征提取与步无关,可预计算 | 空间对齐条件 |
| IP-Adapter | 约 2200 万 | 多一组 4 token 的键值 | 图像键值与文本键值同样跨步缓存 | 非对齐参考图 |
从这张表能读出几条工程结论:
空间控制器的成本随数量线性叠加,参考图控制器几乎不叠加。 一个 ControlNet 已经占掉三到五成额外计算,叠第二个就接近翻倍;而 IP-Adapter 多出来的只是每组 cross-attention 里多 4 个键值,与 77 个文本 token 相比约 5%,对总耗时影响在百分之几。
控制图的编码开销可以移出采样循环。 ControlNet 的条件编码器、T2I-Adapter 的整套特征提取都与时间步无关,理论上整个请求内只需计算一次。把这份计算从”每步一次”变为”一次请求一次”,是服务实现里最常见的优化。
ControlNet-XS 的缓存策略不同。 它的控制网络需要读取主干的中间特征,而这些特征每步都不同,因此无法整段缓存;它的便宜来自”参数少、读取的特征少”,而不是”可以缓存”。
条件对噪声档的敏感性决定了能否跨步复用。 控制特征注入的是 U-Net 特征层,不同噪声档下网络对此的利用方式不同;缓存能省的是”输入侧处理”,不能省的是”注入本身”。这与第八篇讨论的跨步特征缓存在连续扩散模型上的结论一致。
八、这条线的延伸与边界
为什么适配器最终成了产品标准形态
2023 年之后,可控生成的生态几乎完全建立在适配器之上:Stable Diffusion WebUI、ComfyUI 这类工具把 ControlNet 做成可拖拽的节点,用户按需组合;Hugging Face diffusers 提供了 ControlNet、T2I-Adapter、IP-Adapter 的加载与推理接口;商业 API 也开始以”控制类型”作为参数暴露出来。形成这种结构的原因不难理解:基础模型随版本快速迭代(SD 1.5 到 SDXL 到 SD3 到 Flux),但”空间控制”这一需求本身不变。适配器把”条件能力”从模型权重中剥离成可替换的组件,基础模型换代时适配器可以随权重版本重训或迁移,而不是重新设计整个系统。
T2I-Adapter 论文直接验证了另一个关键事实:同一系列的模型(例如 SD-V1.4、SD-V1.5、同结构的自定义模型)之间,适配器可以直接迁移使用。这一点在 SD1.5 生态里尤其重要,因为社区存在大量在该底座上微调出的模型;一个在官方底座上训练好的适配器,能覆盖大量下游模型。
与第十四篇编辑机制的分工
第十四篇讲的编辑是在已有图像上做修改,核心是反演与注意力注入;本篇讲的是在生成时就施加额外约束。二者在实际使用中经常叠在一起:先生成一个受控的图像(例如按姿态与深度控制),再对它做局部编辑。二者的共同点是”条件如何进入网络”这个问题最终都归结到注意力与特征注入机制;区别在于编辑还需要解决”从哪里出发”,而可控生成只需要解决”往哪里走”。
当条件从图像、骨架扩展到多图序列或时间轴,问题会再次变形——参考图不止一张、需要保持跨图一致性,或者控制条件要扩展到视频的帧序列上。SparseCtrl 这类针对视频扩散的稀疏控制工作就是这条线在时间维度上的延伸:它把若干关键帧作为控制条件,通过稀疏的帧索引与掩码把条件特征注入视频模型。本质上仍是”把条件特征插入扩散网络的特征流”,只是插入位置从二维特征图变成了三维时空特征。
边界:当适配器不再必要时
适配器的价值建立在一个前提上:基础模型本身不包含目标条件。当基础模型在训练阶段就吸收了某种条件(例如 FLUX.1 Kontext 把图像上下文直接做成输入序列的一部分,无需任何适配器即可做编辑),适配器就不再是唯一通道——第十四篇讨论的训练式编辑正是这种趋势。这并不意味着适配器会消失:训练大模型的成本决定了任何一种新的控制能力都更可能先以适配器形式出现,只有当某项控制需求普遍到足以进入下一版基础模型的训练数据时,它才会从”外部组件”变成”内建能力”。理解适配器的结构,也就是理解这段迁移的中间态。
小结
本篇把”条件如何进入扩散网络”这个问题从文本扩展到图像,梳理了三类适配器的完整机制:
- 文本条件只能约束语义,约束不了几何;可控生成必须解决”空间条件从哪来、怎么注入、不破坏原模型”三个问题,并满足”文本强绑定、弱耦合、可泛化”三条约束。
- ControlNet 把神经块复制为”冻结副本 + 可训练副本”,用零卷积把可训练副本的输出逐层加回主干;零初始化保证训练起点与原模型完全一致,并让条件强度从零开始稳定增长;训练中出现”突然收敛”,中途 checkpoint 之间控制能力差异很大。
- ControlNet 的优势是可组合、可复用多模态条件;代价是约 3.6 亿参数的半个 U-Net,训练每次迭代多约 23% 显存、34% 时间,推理每步多三到五成计算。
- ControlNet-XS 把控制分支改成”主干特征回传 + 加法修正”的闭环,5500 万参数即可超过 3.6 亿参数 ControlNet 的控制精度,推理时间压到约六成,训练时间压到四成。
- T2I-Adapter 不复制主干,只用一个约 7700 万参数的小网络在四个尺度提取控制特征并纯加法注入冻结 U-Net;浅层注入让几何信息更容易落位,成本几乎可以忽略;训练时用三次方偏置的时间步采样强化大噪声段的引导。
- IP-Adapter 把参考图编码成一组 4 个 token 的键值,走解耦 cross-attention:图像与文本分别 softmax 后按可调权重 λ 相加,使得”图像强度”与”文本语义”可以独立调节;可训练参数仅约 2200 万,训练时随机丢弃图像条件以支持推理期的引导。
- 推理账本上,空间控制器的成本随数量线性增长,参考图控制器几乎不叠加;成熟服务普遍采用”基础模型 + 组件库”的结构,把条件能力做成可替换的适配器。
系列前面的几篇可以直接对照阅读:第一篇给出扩散损失与采样骨架,本篇的训练目标正是它的条件版本;第四篇的 cross-attention 与 MMDiT 双流是 IP-Adapter 与 ControlNet 共享的注入通道;第八篇的跨步缓存思路解释了为什么条件特征只能在输入侧缓存;第十四篇的编辑机制与可控生成在实践中经常组合使用。如果要把这条线继续往下讲,下一个最有价值的方向是时序与多条件联合控制:视频扩散中的帧级条件、多参考图的一致性保持,以及多控制器联合训练时的权重稳定问题——它们都是本篇三类适配器在更长序列、更多模态下的自然扩展。
参考资料
- Lvmin Zhang, Anyi Rao, Manfred Erkelens, Adding Conditional Control to Text-to-Image Diffusion Models, ICCV 2023. arXiv: 2302.05543
- Chong Mou et al., T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models, 2023. arXiv: 2302.08453
- Hu Ye et al., IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models, 2023. arXiv: 2308.06721
- Denis Zavadski et al., ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems, 2023. arXiv: 2312.06573
- Yuwei Guo et al., SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models, 2023. arXiv: 2311.16933
- Robin Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models, CVPR 2022. arXiv: 2112.10752
- Patrick Esser et al., Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, ICML 2024. arXiv: 2403.03206
- FLUX.1 Kontext, Flow Matching for In-Context Image Generation and Editing in Latent Space, 2025. arXiv: 2506.15742
- Hugging Face diffusers 仓库(ControlNet、T2I-Adapter、IP-Adapter 的推理实现):huggingface/diffusers
- ControlNet 官方仓库:lllyasviel/ControlNet
- IP-Adapter 官方仓库:tencent-ailab/IP-Adapter
- ControlNet v1.1 canny 检查点(参数规模佐证):lllyasviel/control_v11p_sd15_canny
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



