正在获取所在地区…
正在读取天气
音乐
暂未播放
指令式图像编辑模型架构入门:从 InstructPix2Pix 到 FLUX.1 Kontext 与 Qwen-Image-Edit
背景:生成模型会画画了,可「改画」是另一回事
扩散模型把文生图推到了「输入一句话、输出一张照片级图片」的程度,但真实使用中更常见的需求并不是从零画一张,而是在一张已有图片上做局部或全局修改:把杯子里的红酒换成白水、把阴天改成黄昏、去掉路人、把同一个人物换到另一个场景里、按照某张参考图的画风重画一幅新场景。这类操作在传统软件里意味着套索、蒙版、图章、调色,门槛很高;而用户真正想要的是一句话描述改动。
指令式图像编辑(instruction-based image editing)要解决的就是“输入图 + 一句话 → 输出编辑后的图”。它听起来只是文生图的一个变体,实际在模型结构上要同时满足三个互相拉扯的要求:
- 听得懂指令:指令通常很短、很模糊(“把她变成机器人”“换成水彩风格”),模型必须借助语言先验理解改动意图;
- 保得住结构:除被指定的区域或属性外,人物身份、构图、光照、背景细节应尽量原样保留。这是编辑和“重新生成”的本质区别;
- 跑得动多轮:用户会连续改好几步,每一步以上一步的输出为输入,误差不能滚雪球式累积,否则人物会越改越不像。
2022 年底,Berkeley 的 Tim Brooks 等人把这个问题定义为“学习跟随图像编辑指令”,提出了 InstructPix2Pix InstructPix2Pix: Learning to Follow Image Editing Instructions (arXiv:2211.09800)。此后两年,这条路线经历了三次明显的架构演进:在 T2I 模型上做条件拼接、用大 DiT 做序列内联(in-context)编辑、用视觉语言模型做语义编码再交给扩散主干。本文按这三代逐层拆开,讲清楚每一代“条件从哪里来、以什么形态注入、为什么能保结构”,以及各自在推理端的代价。
文中所选的几个代表模型定位如下,它们不是按发布时间严格排队,而是各自代表一种条件注入范式的典型实现:
| 模型 | 出处 | 主干 | 参考图编码方式 | 语言理解方式 |
|---|---|---|---|---|
| InstructPix2Pix | 2022,UC Berkeley | Stable Diffusion 1.5 U-Net | VAE 潜变量通道拼接 | CLIP 文本编码器 |
| Step1X-Edit | 2025,StepFun | DiT 文生图底模 + MLLM | VAE 潜变量 token 拼接 | Qwen2.5-VL |
| FLUX.1 Kontext | 2025,Black Forest Labs | 12B 整流流 DiT | 序列拼接 + 3D RoPE 虚拟时间步 | CLIP + T5 编码器 |
| Qwen-Image / Qwen-Image-Edit | 2025,阿里通义 | 20B 双流 MMDiT | VAE 潜变量 token 拼接 | 冻结的 Qwen2.5-VL |
| ICEdit | 2025 | FLUX.1 Fill + LoRA 专家 | 固定格式 diptych(左右并排) | 指令嵌入固定模板 |
| OmniGen | 2024 | 统一 Transformer | VAE token 插入文本序列 | Phi-3 tokenizer 自编码 |
先看一眼编辑任务本身长什么样:

上图来自 InstructPix2Pix 论文的图 1:每列是一张真实照片配上用户手写的一句指令,模型在单次前向中完成编辑——不需要对这张图做逐样本微调,也不需要先做反演(inversion)把图“找”回噪声空间。这个“前向直接出图”的属性非常重要,它是后面所有编辑模型在推理侧追求的目标,因为它决定了编辑能否在秒级完成、能否服务化。
基本概念:编辑任务与几个必须分清的东西
编辑不是反演 + 重绘
早期一类做法是文生图 + 反演:先用 DDIM Inversion 之类的算法把输入图反演成一条相对确定的噪声轨迹,再换掉提示词重新采样。问题有三:反演本身有数值误差,重建出的原图已经和输入不一致;要针对每张图做一次反向采样,耗时翻倍;指令与图像的“解耦”依赖启发式的注意力控制,遇复杂指令就失效。站内 扩散模型从零讲起(十四):图像编辑与反演 把 SDEdit、DDIM 反演与整流流编辑的前向次数与保真度账算得很细,本文不再重复这些数学细节,只把它们当作对比基线。
条件注入的三种物理形态
编辑模型和文生图模型最大的结构差别在于多了一路图像条件。所有方案最终都要回答一个问题:参考图的信息以什么形态进入去噪网络?归纳起来只有三种:
- 通道拼接(channel concat):把参考图的潜变量与噪声潜变量在通道维拼在一起,送入同一个卷积或 Transformer;
- token 拼接(token concat):把参考图 token 序列与目标(噪声)token 序列在序列长度维拼起来,当作一个更长的序列处理;
- 外部编码器 + 交叉注意力或适配器:参考图先经 VAE 或视觉编码器转成特征,作为额外条件送入,但不进入主序列。
这三种形态在计算代价、保结构能力、与多图扩展的兼容性上差异极大。FLUX.1 Kontext 论文明确交代过:通道拼接他们试过,初始实验里效果更差,最后选择了序列拼接。这个结论对理解后文很关键——token 拼接让位置编码可以区分“参考块”和“目标块”,而通道拼接把两者揉在同一套空间位置上。
编辑必须区分“指令”与“目标描述”
这是最容易混淆的一点。像“把天空变成黄昏”这种指令只描述改动,不描述原图;而文生图模型训练时输入的始终是完整描述(“一张黄昏时分的城市照片”)。如果直接把指令喂给文生图模型,模型会把它当成完整描述重新生成,背景、人物会全变。所以编辑模型要么需要专门构造的数据(“输入描述 → 指令 → 输出描述”的三元组),要么需要一个能把图读懂、再把改动意图和原图细节联合理解的语言前端。第三条路线(用 MLLM 做条件编码)就诞生于这个需求。
第一代:在文生图上加通道——InstructPix2Pix
数据从哪里来
编辑任务最棘手的不是模型,而是数据:互联网上不存在“同一张图 + 指令 + 改后图”的大规模三元组。InstructPix2Pix 的做法是用两个现成大模型合成数据:
- 用微调过的 GPT-3 基于 LAION 的图注生成编辑指令与改后图注(例如输入图注“一个女孩骑马的摄影”,生成指令“让她骑龙”,改后图注“一个女孩骑龙的摄影”);
- 用 Stable Diffusion 分别按两条图注生成一对图像。为了让两张图尽可能只差在“被编辑的部分”,他们用 Prompt-to-Prompt 技术共享注意力图与随机种子,把图注差异之外的结构锁住;
- 最终得到 45 万级训练三元组。
这个流程里两个细节值得记住。其一,数据质量依赖 CFG:输入图注在生成时用了较强的 classifier-free guidance(约 7.5),这会让生成图更贴近图注,从而让“图与图注的对应关系”更强,便于模型学到输入图 = 改前图注所指的图像。其二,指令与图注是生成的,不是人工写的,所以 InstructPix2Pix 的最大弱点是训练分布偏窄:改动类型局限于“换物体、换风格、换场景”等 GPT-3 容易造句的类型,对精确的文字替换、细粒度属性修改支持很差。

上图是论文图 2,把整条链路画成了一个循环:左半边是造数据(a → b → c),右半边是训模型(d)。注意 (d) 阶段的推理输入是真实照片 + 人类手写指令,而训练输入全是合成图像 + 合成指令,这两者之间的差距就是 InstructPix2Pix 演示效果与真实使用体验之间的差距。
结构:U-Net 的通道拼接 + 双条件 CFG
模型本身是对 Stable Diffusion 1.5 的 U-Net 做改造。参考图经 SD 的 VAE 编码成潜变量 cI,与加噪后的目标潜变量 zt 在通道维拼接,U-Net 第一层卷积的输入通道数因此翻倍。指令经 CLIP 文本编码器得到 cT,照常走交叉注意力。
推理端最关键的设计是双条件引导。在单一条件下 CFG 把一个分数估计外推:
e~θ(zt,c)=eθ(zt,∅)+s⋅(eθ(zt,c)−eθ(zt,∅))其中 eθ 是模型输出的分数/噪声预测,∅ 表示条件被替换成 null 值,s 是引导强度。含义是:沿着“有条件的预测减无条件的预测”的方向多做一步外推,让样本更贴合条件。
编辑任务有两个条件——输入图 cI 与指令 cT。InstructPix2Pix 把它们拆成两次外推:先相对“图和指令都为空”的基准,沿输入图方向外推 sI 倍;再在已经偏向输入图的基础上,沿指令方向外推 sT 倍:
e~θ(zt,cI,cT)=eθ(zt,∅,∅)+sI⋅(eθ(zt,cI,∅)−eθ(zt,∅,∅))+sT⋅(eθ(zt,cI,cT)−eθ(zt,cI,∅))训练时他们以 5% 的概率只丢弃 cI、5% 只丢弃 cT、5% 两者都丢弃,使模型具备四种条件组合下的预测能力。推理时 sI 控制“贴近原图”的程度,sT 控制“服从指令”的程度,二者之间存在明显的取舍:sI 过大时模型倾向于原样复制输入,sT 过小则看不出改动。论文给出的推荐值约为 sI=1.5、sT=7.5,与文生图的常规 CFG 强度同量级。
这里有一个成本细节:三条件 CFG 意味着每个采样步要跑三次前向(全条件、仅图条件、全无条件)。虽然双外推的基准项可以复用,实际仍是三次 U-Net 前向,这让编辑的采样开销约为普通文生图的三倍。不过 SD 1.5 体量只有 0.9B 参数左右,512 分辨率下二十来步采样,整张图也就几秒。
这一代的天花板
通道拼接的物理限制在 SD 1.5 的 UNet 结构里其实并不明显——只要参考图和目标图分辨率一致,拼接在通道维是干净的。真正限制它的是三件事:
- 语言理解太弱:CLIP 文本编码器对复杂指令和多步推理几乎无能为力,理解不了“把左边第二个红衣服的人换成图中右边那个人的脸”这种指代;
- 分辨率低:SD 1.5 的 512 原生分辨率,参考图细节在 VAE 压缩后丢失严重,大图编辑时要先缩小再放大;
- 数据分布窄:合成数据的改动类型有限。
后两代方案本质上都在解决“语言理解”这一项,同时借大 DiT 主干把分辨率与保真度一起抬上来。
第二代:大 DiT 上的 in-context 编辑
前提:DiT 主干天然双向看
Transformer 主干处理的是 token 序列,注意力是双向的(除特殊设计外)。这就意味着:如果把参考图 token 和目标图 token 拼成一个序列,目标块里的每一个 token 都可以直接关注参考块里的任意 token——这在 U-Net 的卷积结构里做不到,卷积只能局部采样。于是“参考图进入主序列”这种做法在 DiT 上变得非常自然,语义上直接对应大语言模型里的 in-context learning:模型在当前上下文中看到示例,就在不更新参数的前提下完成对应的任务。
FLUX.1 Kontext:序列拼接 + 虚拟时间步位置编码
Black Forest Labs 2025 年 6 月发布的 FLUX.1 Kontext FLUX.1 Kontext: Flow Matching for In-Context Image Generation and Editing in Latent Space (arXiv:2506.15742) 是这条路线最“干净”的实现:不动主干、不加编码器,只做序列拼接。
下图是论文图 4 的整体结构:左侧是输入图与上下文图(context image),右上是文本流,右下是视觉流,上下文图经 VAE 编码后与噪声潜变量一起进入视觉流;图上的标注同时给出了两组位置编码——目标块 [T=0, h, w]、参考块 [T=1, h, w],正对应后文要讲的“虚拟时间步”方案。

其模型本身是 FLUX.1 系整流流 Transformer。FLUX.1 的块结构是混合的:前半是双流块(double stream),图像 token 与文本 token 用两套独立权重并行计算,只在注意力里通过拼接 token 混合;后半是 38 个单流块(single stream),图像与文本 token 拼在一起共享权重,最后丢弃文本 token、只保留图像 token 解码。这个设计让参数量集中在共享的单流块里,又保留了早期层对两种模态的独立刻画。

上图是 Kontext 论文图 3,一个融合式 DiT 块:图像 token 与文本 token 不再各走一套完整堆叠,而是在同一个块里先分别经过各自的投影,再在同一注意力操作中混合;块的下方标注了 h,w,(t+k) 三个轴向的旋转位置编码,其中 (t+k) 里的 k 就是 Kontext 用来区分“上下文块”的虚拟时间步偏移。双流块与单流块按“前双后单”的方式堆叠,共享参数主要落在单流块中。
怎么把参考图塞进去:冻结的自动编码器把参考图编码成潜变量 token 序列 y,直接追加到噪声目标 token 序列 x 之后,一起送入视觉流。论文尝试过通道拼接,效果更差,因此最终选择序列拼接。
为什么序列拼接还要配位置编码改造:如果两组 token 共用一套按 (t,h,w) 排布的三维 RoPE,参考块会占据与目标块重叠的空间坐标,模型分不清“这是参考图上的第 3 行第 5 列”还是“这是目标图上的同一位置”。Kontext 的解决办法是给参考块一个常数偏移,把它当作虚拟的“时间步”:
ux=(0,h,w),uyi=(i,h,w),i=1,…,N其中 u 是三轴 token 坐标,x 是目标块(时间轴取 0),yi 是第 i 张参考图(时间轴取 i)。这样一来,参考块内部的空间结构(h,w)原封不动,参考块与目标块之间却有了一个全局可区分的“通道号”。这也解释了为什么该设计天然支持多图:N 张参考图对应 N 个虚拟时间步,不需要结构改动,只需把 N 加大。论文当前只训练了单图上下文,但接口是开放的。
训练目标是整流流的 velocity 匹配:
Lθ=Et∼p(t),x,y,c[∥vθ(zt,t,y,c)−(ε−x)∥22]其中 zt=(1−t)x+tε 是目标潜变量与高斯噪声 ε 的线性插值,vθ 预测的是“从噪声指向数据”的速度场(即 ε−x 这个方向),t 的采样分布用 logit-normal 并按分辨率调整众数 μ。当 y=∅(纯文生图样例)时,所有参考 token 直接被省略,模型退化为原 FLUX 文生图模型——这也正是“上下文生成”与“文生图”共用一套权重的方式。
训练与推理端的两条工程要点:FLUX.1 Kontext [pro] 先用整流流目标训练,再叠加潜在对抗扩散蒸馏(LADD,latent adversarial diffusion distillation)把采样步数压缩;[dev] 版则直接把引导蒸馏进 12B 主干,并且只在图生图任务上训练。论文报告 1024×1024 图像生成与编辑在 3–5 秒量级,这是它可以支撑“多轮连续修改”的前提——如果每改一步要三十秒,用户不会愿意迭代。
ICEdit:把 in-context 玩成“固定格式 diptych”
ICEdit 对应的工作 Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer (arXiv:2504.20690) 的观察更激进:一个未经编辑训练的大 DiT 本来就具备 in-context 编辑能力,关键在于以什么格式喂给它。
他们对比了三种提示格式:(1) 直接指令;(2) in-context 格式,例如“A diptych with … On the right, the same scene but {instruction}”;(3) 全局描述格式(“On the left {input caption} On the right {output caption}”)。实验结论是 in-context 格式明显更好,因为大 DiT 在预训练时见过大量分屏(diptych)图文对,它习惯“左半是输入、右半是输出、中间用语言描述差异”。

上图是论文图 5 的框架示意:源图放在左侧、目标在右侧,指令嵌入固定模板;源图特征通过特征注入(feature injection)进入反演(inversion)过程,LoRA 注入与 LoRA-MoE 模块挂在 T2I DiT 的块里。几个关键设计:
- 几乎不训练:只用 5 万样本对多模态 DiT 块做 LoRA 微调,相对前代动辄百万级样本,属于“参数高效”的极限;
- LoRA-MoE:单组 LoRA 难以同时覆盖风格迁移、物体删除等差异很大的编辑类型,于是把 N 组 LoRA 专家并联在注意力输出投影层上,用路由分类器按输入选择;
- 早筛推理时扩展(early filter inference-time scaling):在整流流的早期去噪阶段用 VLM 评估噪声与指令的一致性,筛掉明显不对的初始噪声再继续去噪。
最后一条在推理工程上很有意思:它把 VLM 的推理算力换成了扩散采样的“重抽机会”,代价是一次额外的 VLM 前向。这对延迟敏感的服务并不划算,但对质量优先的离线编辑是有用的。
第二代共同的局限
大 DiT 的 token 能力让结构保留变好了,但语言理解依然依赖专用文本编码器(FLUX 用 CLIP-L 与 T5-XXL 双编码器,SD3 用 CLIP+T5)。文本编码器的能力上限通常不如同期的大语言模型,尤其在中文指令、长指令、带指代或空间关系的指令上——这是第三代方案的出发点。
第三代:视觉语言模型做条件编码
思路:让一个会读图的模型先生成“语义条件”
第三代的核心变化是:把视觉语言模型(MLLM / VLM)放在扩散模型之前,让它同时看到参考图和指令,输出一组语义特征,再送进扩散主干当条件。这天然解决了两个问题:
- 语义理解:VLM 本身就在海量图文对上训练过,能理解复杂指代、文化常识、文字内容;
- 特征对齐:参考图的语义由 VLM 提取,与指令在同一个隐空间里共同编码,交叉模态理解不再是两套编码器硬拼。
Step1X-Edit:VLM 语义 + VAE 细节,双路编码
StepFun 在 2025 年提出的 Step1X-Edit Step1X-Edit: A Practical Framework for General Image Editing (arXiv:2504.17761) 是第三代的典型样本。它从一个现成的大 DiT 文生图模型出发(论文写明底座可替换为 SD3、FLUX、HiDream-I1 等),做三件事:

上图是论文的整体架构。左侧是 MLLM(Qwen2.5-VL),它接收参考图和编辑指令,输出多模态 token 的隐藏状态;这些隐藏状态经过一个轻量的 Token Refiner(token 精炼器)压缩成更紧凑的多模态特征。同时,他们对 Qwen 输出的有效 token 取均值,过一层线性投影,得到全局引导向量——这个“均值 + 线性”的设计很朴素,但它给扩散网络提供了一个覆盖全图的、与具体位置无关的语义摘要,相当于让 Qwen 的判断以“全局偏置”的形式进入。
右侧是参考图的另一条路:参考图经 VAE 编码得到潜变量特征,过一层线性投影变成参考图 token,与噪声图 token 在序列长度维拼接(论文图 5 中绿框)。他们的选择理由是:相比 FLUX-Fill 式的通道拼接、SeedEdit 式的额外因果自注意力,token 拼接能更好地平衡“响应编辑指令”与“保留细粒度图像细节”。

论文图 5(上图)把 DiT 内部的接口画得很细:指令与图像嵌入(来自 Qwen)先经 Token Refiner 压缩,再作为多模态嵌入输入接入 DiT;图像与噪声潜变量(来自 VAE)走 token 序列拼接;由 Qwen 有效 token 均值投影而来的全局向量则作为额外的全局引导。可以理解为:语义理解走轻路,细节保真走重路。轻路的 token 数量小、语义密度高;重路的 token 数量大,主要作为主干序列的一部分参与每层注意力。
一个值得对比的细节:论文特意提到 DreamEngine 一类“只用 MLLM 特征”的方案在细粒度细节上不够,因此 Step1X-Edit 保留 VAE 路径。这其实点出了第三代的根本张力——MLLM 的特征对语义理解好,但空间分辨率太低(视觉编码器 patch 14,再经 2×2 合并后每约 28×28 像素才有一个 token),无法承载手写字、纹理等细节。
Qwen-Image / Qwen-Image-Edit:同源 VLM,双编码与 I2I 重建对齐
阿里通义的 Qwen-Image 技术报告 Qwen-Image Technical Report (arXiv:2508.02324) 把同一思路做到了原生同源:主干是 20B 的双流 MMDiT(60 层,24 头,头维 128),条件编码器是冻结的 Qwen2.5-VL,图像 tokenizer 是带 16 通道潜空间的 VAE。

上图是报告中的 Fig 6。可以看到两路输入在右侧进入 MMDiT:Qwen2.5-VL 的隐藏状态经线性层投影后与噪声图 token 一起构成注意力输入,VAE 一侧则在底部提供噪声潜变量并按 patch 切分。块内是标准的双流注意力(图像与文本各自独立 QKV 后再在注意力内混合),QK-Norm 用 RMSNorm,其余归一化用 LayerNorm,位置编码是专为图文联合设计的 MSRoPE(Multimodal Scalable RoPE)。
报告的编辑侧设计有两点值得单独说:
- 双编码:同一张参考图分别送进 Qwen2.5-VL 与 VAE 编码器,前者给语义表征,后者给可重建的低级表征。这和 Step1X-Edit 的思路一致,但 Qwen-Image 把这种双编码写成了架构级的设计原则;
- I2I 重建任务对齐:训练时除了 T2I 与 TI2I(参考图 + 指令 → 目标图)任务,还专门加入 I2I 重建任务(参考图 → 同一张图),目的是把 Qwen2.5-VL 的语义空间与 MMDiT 的潜空间对齐——若模型能把参考图原样“解码”回来,说明两侧表征之间没有错位,编辑时的结构保真度就会更高。这是一个很务实的工程手段:用恒等任务校准两个模块的接口。
其后发布的 Qwen-Image-Edit 在此基础上开放了编辑接口,并在 2025 年 9 月的更新版本(-2509)中支持多图输入;据公开评测表,其编辑能力在同尺寸开源模型中处于前列。
OmniGen2:解耦解码 + 变长隐状态条件
OmniGen2 OmniGen2: Towards Instruction-Aligned Multimodal Generation (arXiv:2506.18871) 是另一类“解耦”架构的代表。它把一个 Qwen2.5-VL-3B 作为理解与文本生成模块,另起一个随机初始化的扩散 transformer 专做图像合成,两者顺序工作:
- VLM 先处理多模态上下文,并在需要出图时生成一个特殊 token
<|img|>; - 触发之后,VLM 在
<|img|>位置的变长隐藏状态序列被提取出来,作为扩散解码器的条件。这里关键的选择是:条件不是固定长度的 query token(如 MetaQuery 的做法),而是 VLM 完整输出的变长隐状态,避免信息瓶颈; - 除了语义条件,还引入低级图像特征来保证编辑时的细粒度一致性;
- 位置编码用 Omni-RoPE,加强跨图的空间对齐与跨图定位能力。
从推理账来看,解耦架构非常直接:一次 VLM 前向(理解 + 生成条件) + 一次扩散采样(生成图像)。VLM 侧的 KV 缓存、变长条件提取都只是普通的自回归推理,没有新增结构;扩散侧则保持纯图像 token,不需要处理图文混合序列。代价是 VLM 与扩散主干之间只有“接口层”的连接,没有早期层的深层融合,理论上对需要极细粒度图文交互的任务会有损失。
OmniGen:把一切塞进一个序列
2024 年的 OmniGen OmniGen: Unified Image Generation (arXiv:2409.11340) 更早地探索了“统一序列”路线:只用一个 VAE 和一个 Transformer,把文本 token 与图像 token 按自由顺序交错拼接,图像用 <<img>> 与 <</img>> 特殊 token 包裹,不需要任何任务专用 token。

上图是其 Fig 2:文本走 Phi-3 tokenizer 得到离散 token,图像先经 VAE 与线性层变成视觉 token,两者交错组成序列,末端追加时间步嵌入,经统一的 Transformer 输出后由 VAE 解码。
统一序列的代价与收益
OmniGen 最值得琢磨的是它的注意力遮罩:对文本元素使用因果注意力,对每张图像内部使用双向注意力,且图像之间、图像与文本之间的可见性遵循序列顺序。论文给出的理由很直观——文本天然是离散序列,图像是一个整体;一张图里的像素 patch 之间必须彼此可见才能在扩散意义上“协同去噪”,而不同图像之间保持因果可见性,才能让后面的条件看到前面的参考图。这套设计还带来一个副作用:推理时可以像 LLM 一样用 KV-cache 缓存上下文图像的 K/V,当同一张参考图被反复用于多次编辑时可以复用,这与后文要讲的“编辑服务化”直接相关。
这套设计的代价也很清楚:图像 token 数量是文本 token 的几十倍,统一序列意味着注意力长度被图像主导,每层成本与 (文本长度+图像 token 数)2 成正比;而文本理解需要的是一个相对短的序列,图像生成需要的是长序列,两者被强行合并时,文本侧的推理效率会被图像侧拖累。OmniGen2 后来改成解耦解码,可以看作是对这一代价的回应——把“理解”和“生成”拆到两个模块,让各自用合适的序列长度与注意力结构。
横向对比:条件注入的三种位置
到这里可以把三代方案放在同一张“坐标系”里看,两个轴分别是条件进入去噪网络的位置(输入层 / 序列内 / 外部编码器后置)与语义理解的来源(CLIP / T5 / MLLM)。
| 维度 | InstructPix2Pix | FLUX Kontext | ICEdit | Step1X-Edit | Qwen-Image | OmniGen2 |
|---|---|---|---|---|---|---|
| 参考图进入方式 | 通道拼接 | 序列拼接 | in-context diptych | 序列拼接(VAE)+ 适配器(VLM) | 序列拼接(VAE)+ 适配器(VLM) | VAE token 混入序列 / 变长条件 |
| 语义来源 | CLIP | CLIP + T5 | T5(模板化指令) | Qwen2.5-VL | Qwen2.5-VL | Qwen2.5-VL |
| 主干规模 | SD1.5 UNet ~0.9B | 12B DiT | FLUX.1 Fill + LoRA | DiT + VLM | 20B MMDiT + 7B VLM | 3B VLM + 4B DiT |
| 每步前向次数 | 3(双条件 CFG) | 1(蒸馏后无需 CFG) | 1 + VLM 早筛 | 1–2(视 CFG) | 1–2(视 CFG) | 1 + 1(VLM + 扩散) |
| 多图扩展 | 困难 | 天然支持 | 困难 | 支持(拼接) | 支持 | 支持 |
| 推理延迟量级 | 秒级 | 3–5 s(1024²) | 秒级 | 秒级(大模型) | 秒级(大模型) | 秒级(小模型) |
这张表折射出三条清晰的取舍线:
取舍一:拼接位置越靠前,结构保真越稳,训练成本越高。 通道拼接早期让模型必须从像素级对应关系里学会“哪里是参考、哪里是目标”,训练目标是“重建/编辑”混合,效果稳定但对分辨率与分辨率一致性要求高。序列拼接把参考块与目标块变成两个独立的 token 组,每层注意力都能直接比较它们,同时位置编码通过虚拟时间步区分,训练更容易收敛到“只改该改的地方”,这也是第三代普遍选择序列拼接的原因。
取舍二:语义理解与细节保真走两条路。 凡是采用 MLLM 的方案,实际上都保留了 VAE 路径——原因就是分辨率。Qwen2.5-VL 的视觉编码器 patch 为 14,再经 2×2 合并后每个 token 覆盖约 28 像素,1024 宽度只剩约 37 个 token;一张手写海报的笔画在如此粗糙的特征上根本无法保留。因此,Step1X-Edit、Qwen-Image、OmniGen2 全部采用“VLM 语义 + VAE 细节”的双路,区别只在两条路怎么汇合:拼接进主序列,还是走适配器。
取舍三:多图扩展与推理成本的相互约束。 序列拼接天然支持 N 张参考图(多一个虚拟时间步),但每多一张参考图,主序列长度就增加 p2HW 个 token(H,W 为潜变量尺寸,p 为 patch 大小),N 张图则增加 N⋅p2HW,注意力的 O(L2) 代价随之增加。这是编辑模型进入“多参考图”阶段后最主要的新成本项,也是站内 WorldAttention 完全拆解 一类工作所讨论的长序列注意力问题的同构场景。
推理账:编辑服务真正的代价在哪里
编辑模型的使用形态与文生图不同,它对延迟与吞吐的要求更高,因为用户要来回迭代,还要在交互式界面里预览。下面对一次编辑请求的延迟构成做个拆分。
一次请求的完整链路
以 VLM + 扩散的第三代架构为例:
1请求到达2 ├─ 图片预处理:解码、缩放到工作分辨率、归一化 (CPU + 少量 GPU)3 ├─ VLM 前向:参考图 patch 化 + 指令 token → 隐藏状态 (一次自回归 / 一次全前向)4 ├─ 条件整理:有效 token 筛选、Token Refiner、全局向量 (很小)5 ├─ VAE 编码:参考图 → 潜变量 (卷积, 与分辨率线性)6 ├─ 去噪循环:N 步 × DiT 前向(可能 ×CFG 倍数) (主导项)7 └─ VAE 解码:潜变量 → 像素 (卷积)对 1024×1024 输出、20 步采样、双流 MMDiT 20B 量级的模型,去噪循环占据绝大部分延迟,VLM 与 VAE 只占小头。这与站内 扩散模型从零讲起(十九):一次请求的完整推理链路 中拆解的文本到图像 pipeline 结构完全同构,区别只在多了“参考图编码”与“条件适配”两个前置环节。
几个常被忽略的成本项
其一:多轮编辑的隐式成本是“重新编码历史”。 用户做三轮编辑,第三轮以第二轮的输出为输入。朴素实现里,每轮都要重新做 VAE 编码与 VLM 理解,而且模型的 KV/条件无法跨轮复用——因为第二轮输出是第三轮的参考图,其内容与前一轮已有不同。只有当同一张参考图被反复使用时(例如给同一张海报换十次背景),才像 OmniGen 的注意力遮罩那样可以缓存条件侧的 KV。这条优化目前并非主流实现,属于有价值但有边界的方向。
其二:蒸馏后的编辑模型常常“只剩编辑”。 FLUX.1 Kontext [dev] 在蒸馏后只在图生图任务上训练,不再支持纯文生图。这种设计换来的是更短的采样步数与更低的延迟,但模型被“专门化”了,服务端要同时提供生成与编辑能力时,需要部署两套或被裁掉一部分能力的主干。这是能力与成本的直接交换。
其三:早筛推理时扩展是“概率换质量”。 ICEdit 的 VLM 早筛本质上是对初始噪声做选择性重抽,类似 Best-of-N 的思路。它把一部分不确定的采样换成有监督的筛选,代价是一次额外的 VLM 前向。对离线批量编辑是有利的,对在线交互则往往得不偿失——延迟翻倍而质量提升有限。
其四:VAE 编码器与解码器的分辨率墙。 高分辨率编辑(如 4K 海报)通常在潜空间里做,但参考图的 VAE 编码需要先缩到模型工作分辨率,这会丢掉小字和细纹理。Qwen-Image 的 16 通道 VAE 提升了重建质量,但依然遵循“分辨率—token 数—注意力成本”的三角权衡。
编辑质量怎么衡量
编辑模型有两类相互竞争的指标,任何评测都必须同时看:
- 指令遵循度(edit instruction accuracy):输出是否真的做了指令要求的改动。常用基于 GPT-4o 的 VIE-Score(视觉指令编辑评分)或人类偏好打分;
- 结构保重度(structure preservation):未编辑区域是否保持。常用 L1、DINO、CLIP 相似度;编辑区域与原图差异越大,保重度越低,但保重度不是越高越好,要保证“该变的变了”。
Step1X-Edit 提出的 GEdit-Bench 与 FLUX.1 Kontext 的 KontextBench(1026 组图文对,覆盖局部编辑、全局编辑、角色参考、风格参考、文字编辑五类)都是为这类双指标评测设计的。OmniGen2 另设了 OmniContext 评测 in-context 生成。这些 benchmark 的共同特点是:不只看分数,还要求用同一组图在不同模型之间做可感知的对比,这反映了编辑任务的评价天然带有主观性。
能力边界:哪些编辑仍然难
即使是第三代模型,仍有几类编辑会稳定暴露短板:
- 大范围结构改写:编辑模型被数据分布塑造成“尽量少改”。当指令要求换视角、换构图、把全身改成半身时,它与“保结构”的训练目标直接冲突,输出往往两头不讨好——要么几乎没改,要么把背景一起重画;
- 否定与排除类指令:“不要动背景”“除了人物以外都保持原样”这类指令在语言上是否定约束,但扩散条件是把语义往目标方向拉,模型缺少显式的“禁止区域”表示,容易把“背景”当成要描述的对象;
- 精细文字编辑:文字需要像素级的字形重建,而 VAE 压缩与去噪都会让笔画边缘模糊。Qwen-Image 在中文文字渲染上明显更强,但小字号、长段落、字体一致性与排版保持仍是难点;
- 多轮漂移:每一轮都经历 VAE 编解码与重新采样,误差会累积。Kontext 论文自己也承认,过度多轮编辑会引入视觉伪影;这是“每轮都从像素重新编码”的结构性代价;
- 多参考图冲突:当两张参考图给出互相矛盾的风格或身份线索时,模型没有显式的仲裁机制,输出会随机偏向其中一方。
设计决策的背后:几个值得追问的问题
为什么 InstructPix2Pix 用双条件 CFG 而不合并为一个条件
单条件模型在编辑任务上表现不佳,原因在于两种条件对样本的约束方向不同:输入图条件把样本拉向“原图”,指令条件把样本拉向“改后图”,中间的状态才是“原图的轻微修改”。若把两个条件都当作一个整体条件做 CFG,模型没有机会在两者间平衡。双条件外推提供了一个二维旋钮(sI,sT),把“保留原图”与“服从口令”显式解耦。这个思路后来被以不同形式延续:FLUX Kontext 用蒸馏把引导吸收进主干,而 Step1X-Edit、Qwen-Image 这类“VLM + DiT”架构则把一部分“保留原图”的约束交给条件本身——参考图 token 就在序列里,模型不需要靠外推来维持它。
为什么后两代不再需要双条件 CFG
原因是训练方法变了。一旦模型在训练中见过“输入图 + 指令 → 输出图”的海量配对,且主干足够大,它对“输入图 = 原图”的对应已经学会;此时 CFG 主要用于强化指令遵循,而对参考图的偏离可以用训练时的数据分布直接控制(例如控制指令的改写幅度,训练目标离输入图有多远)。再加上蒸馏,很多模型直接去掉了 CFG,推理开销回到单次前向。这是一种典型的“用训练成本换推理成本”的交换。
为什么位置编码是编辑模型的关键而非细节
参考图与目标图进入同一个注意力,模型必须能区分两类 token。Kontext 的做法是“同一 (h,w) 空间下,用不同的虚拟时间步”;OmniGen 的做法是“用特殊包裹 token + 因果可见性”;Qwen-Image 用 MSRoPE 联合编码图文位置;OmniGen2 用 Omni-RoPE 强化跨图定位。这些机制虽然都叫“位置编码”,实际解决的是参照关系识别问题——这与语言模型里区分“系统提示”和“用户输入”的角色标记有相同的哲学。
小结:三代编辑模型的知识地图
把本文串起来,可以将指令式图像编辑模型的架构演进概括为一句话:条件从“塞进输入层”走向“塞进序列”,语义从“文本编码器”走向“视觉语言模型”,而细节保真始终由 VAE 路径兜底。
- 第一代(InstructPix2Pix)确立了任务形式与数据合成范式,双条件 CFG 是其最重要的可学机制;
- 第二代(Kontext、ICEdit)证明大 DiT 的序列内联能力可以把“参考图”作为普通上下文处理,位置编码的虚拟时间步与序列拼接是这一代最有迁移价值的工程技巧;
- 第三代(Step1X-Edit、Qwen-Image、OmniGen2)把 MLLM 引入条件编码,用双路编码与 I2I 重建对齐解决语义理解与细节保真的分工。
对推理工程而言,编辑模型的核心账本与文生图相似——去噪循环占主导,新增的前置环节(VLM 编码、VAE 编码、条件适配)是次要成本;但多轮编辑、多图参考、蒸馏后的能力收缩这三项会显著改变服务设计。将本文与站内扩散基础系列(DDPM → DiT → 采样器 → 蒸馏 → 推理加速)连起来看,就能构成一条从数学机制到系统部署的完整路径。
放在多模态生成的大版图里,图像编辑与文本生成图像共享同一套潜空间扩散主干,但多了一路“参考图条件”;视频生成则把二维 latent 扩成三维并使用时空注意力,可参考 扩散模型从零讲起(五):视频扩散;语音生成走的是“离散语义 token + 流匹配/声码器”的另一条链路,可参考 扩散模型从零讲起(十):音频扩散。理解编辑模型的“双路条件”设计后,再看视频中的首帧条件、参考图条件与音频中的说话人条件,会发现它们解决的是同一个架构问题:如何让生成主干在保真与可控之间找到稳定的条件注入点。
参考资料
- InstructPix2Pix: Learning to Follow Image Editing Instructions (arXiv:2211.09800)
- FLUX.1 Kontext: Flow Matching for In-Context Image Generation and Editing in Latent Space (arXiv:2506.15742)
- Step1X-Edit: A Practical Framework for General Image Editing (arXiv:2504.17761)
- Qwen-Image Technical Report (arXiv:2508.02324)
- OmniGen: Unified Image Generation (arXiv:2409.11340)
- OmniGen2: Towards Instruction-Aligned Multimodal Generation (arXiv:2506.18871)
- Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer (arXiv:2504.20690)
- Qwen-Image GitHub 仓库
- OmniGen2 GitHub 仓库
- InstructPix2Pix 项目页
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



