正在获取所在地区…
正在读取天气
音乐
暂未播放
图像修复与图像到图像翻译基础架构:掩码补全、配对映射与无配对循环约束
背景:修补与搬运,两种被低估的图像任务
生成模型的热度集中在「无中生有」——给一段文字,画一张全新的图。但实际落地最多的图像任务,恰恰是两种「有中生有」:图像修复(inpainting)要在一张已有图片上补掉一块缺失或水印区域;图像到图像翻译(image-to-image translation,简称 I2I)要把一种图像映射成另一种图像——灰度图上色、草图转照片、白天转黑夜、照片转画风。
这两个任务在架构上的根源可以追溯到同一篇工作。2016 年,Isola 等人发表 pix2pix,把「图像到图像」正式抽象成一个统一的学习问题:输入一张图,输出同样尺寸的另一张图,用一个 条件 GAN 来学这个映射。它同时给出了两个至今仍是主线的子范式——配对翻译(有输入/输出成对样例)和后来的 无配对翻译(没有成对样例,只有两堆各自域的图)。图像修复则是 I2I 的一个特例:输入图里被挖掉一块,输出的「目标图」就是原图本身,所以修复可以看成「目标已知、只在缺失区域下条件」的翻译。
本文按这三条基本架构讲清楚它们各自的核心机制:
- 掩码重建:LaMa 如何把「补全」变成 FFC 和快速傅里叶卷积下的全分辨率生成;
- 配对监督:pix2pix 如何用条件判别器加 L1 损失把「映射」学成 U-Net 的输出;
- 无配对约束:CycleGAN 如何在没有任何成对样例的情况下,用一个循环一致性约束把两个域绑起来。
三条路线分别对应一个基本问题:补全靠什么建模全局结构?配对翻译为什么 L1 比 L2 好、判别器到底在看什么?无配对翻译又如何在没有配对数据时定义「输出是对的」?
为什么不能直接用生成模型替代:几个必须先分清的判断
在进入具体架构之前,有三个常见误解会干扰理解,先澄清。
补全不是「整图重画」。 一个文生图模型完全可以画出一张「看起来像这张照片」的新图,但它不可能保证原样保留已知区域。补全服务的价值恰恰在于:已知区域必须一字不差地保留,只有缺失区域被生成。这就把任务从「无条件生成」变成了「给定上下文的条件生成」,模型必须在已知区域上「复制」,在缺失区域上「发明」。
图像翻译不是风格迁移。 风格迁移(如 Gatys 等 2016 年的工作)的目标是把一张风格图的笔触和色彩套到内容图上,它只处理全局的笔触统计,不对应「这张草图应该变成哪一张具体照片」的语义映射。图像翻译要求的是输入结构在输出中被保留:草图的每条线在输出里都要以某种形式存在,分割图里的每块区域都要变成对应的真实物体。这一点决定了图像翻译必须有「成对或近成对的监督」,以及能保住结构的生成器。
「确定性映射」是这些架构的前提,但它有明确的适用边界。 结构性翻译——边缘图或分割图转照片、草图转实拍——给定输入时合理输出集合很窄,把问题当成确定性映射来学最直接、也最便宜。灰度图上色则是一个反例:一件衣服可以合理地涂成多种颜色,此时确定性映射只能用 L1 学到「所有合理颜色的平均」,结果往往是低饱和的灰调。这不是某个实现没调好,而是「用重建损失拟合多峰分布」的结构性结果——pix2pix 的原版论文去掉了输入的随机噪声(默认输入已足够确定映射),但它也讨论了在上色这类任务里重新加入噪声(dropout 充当随机源)可以让输出颜色更鲜艳的可能方案。这类多解任务后来交给扩散模型,正是因为扩散天然能表达一个分布而不是一个点。把这条边界记住,就能判断一个新任务该不该用本文这三类架构,而不是看它们的论文效果有多好。
补全任务的本质:掩码把问题变成了条件生成
先统一记号。修复任务的输入是一张图 x 和一个二值掩码 m,其中 m=1 表示待修补的缺失区域。目标是输出 x^,使得在 m=0(已知区域)保持不变、在 m=1 的区域与原图 x 一致。训练时目标 x 是已知的,推理时 m=1 的内容彻底不可见。
这个定义决定了补全任务的两个结构性难点:
- 尺度跨度极大:缺失区域可以是几个像素的划痕,也可以是占据画面一半的大块。小洞只靠邻边纹理就能补;大洞要求模型理解图像的语义和结构,知道「这个位置应该有一条地平线或者一扇窗」。
- 全局一致性:补出来的内容必须和远处的内容保持一致。比如人像修复中,模型补的脸要和已知的颈部肤色、光影方向对得上。卷积的感受野是局部的,纯卷积网络要堆很多层才能把远距离信息传到缺失区域中央。
早期方法按这两个难点分两类。一类是结构先验型:先用某种方法估计缺失区域附近的结构(边缘、轮廓),再沿结构补纹理;一类是端到端 GAN 型:用一个生成器加判别器直接补,靠对抗损失逼真。
在端到端路线里,一个绕不过去的细节是:卷积核一旦滑到缺失区域,输入就是「零」,算出来的特征会被这些无意义的零污染,越往深处传播污染越严重。PConv(Liu 等,2018,ECCV)提出的部分卷积就是针对这一点:每层卷积只统计有效像素,并按有效像素占卷积窗口的比例重新归一化:
xi,j′=⎩⎨⎧W⋅(xi,j⊙mi,j)⋅∑mi,jNW+b,b,∑mi,j>0∑mi,j=0这里 mi,j 是以 (i,j) 为中心的卷积窗口内的有效掩码,∑mi,j 是窗口内有效像素数,NW 是窗口总像素数(如 3×3 卷积的 9),xi,j⊙mi,j 把缺失像素清零。那个比例因子 NW/∑mi,j 的作用是:当窗口里只有 3 个有效像素时,卷积结果被按比例放大,使输出尺度仍与「窗口全有效」时可比,避免洞边缘出现亮度断层。每做完一层,掩码也更新一次——只要窗口里出现过任何有效像素,该位置就被标为有效——于是有效区域随层数逐层向洞内推进:
mi,j′={1,0,∑mi,j>0otherwise这解决了「零污染」,但没解决「传播距离」:掩码每层最多推进一个卷积半径,缺失区域越大,需要的层数越多。PConv 的论文里正是靠堆很多层来覆盖大洞,代价是深网络的训练难度和计算量;到了大尺度缺失,这个矛盾就变得突出——这正是 LaMa 要解决的核心问题。
第一条路线:掩码重建——LaMa 的全分辨率生成
LaMa 是 2021 年由 Suvorov 等人在三星研究院(Samsung AI Center Moscow)发表的工作,全称「Resolution-robust Large Mask Inpainting with Fourier Convolutions」。论文明确把方法归结为三个互相配合的组件:用 FFC 构建的广感受野网络、高感受野感知损失(HRFPL)和训练时的大掩码生成策略;三者缺一,另外两个都发挥不出来。它针对的核心问题正是上一节说的「远距离传播」:如何在不大幅堆深网络的前提下,让缺失区域中央也能「看到」画面另一头的全局结构。
快速傅里叶卷积 FFC
FFC 是 LaMa 的骨架。普通卷积在空间域里操作,感受野等于核大小乘以层数;FFC 把特征沿通道切成两半,一半走局部卷积,另一半搬到频域里做卷积,再把两路结果拼起来:
FFC(x)=ReLU(BN(Concat(flocal(xl),F−1(g(F(xg))))))其中 xl 与 xg 是把输入 x 沿通道切成的局部/全局两路。F 是实数到复数、再把结果变回实数通道的二维变换。g 是作用在频域张量上的 1×1 卷积,作用于实部与虚部两通道,就等价于一组可学习的复数权重;F−1 把结果变回空间域。Concat 把频域分支与局部分支沿通道拼回,最后归一化、激活。关键性质是:频域卷积的感受野覆盖整张特征图,因为傅里叶变换的每个频点都混合了全部空间位置的贡献。因此哪怕只在中层放几个 FFC,一个像素也能在同一层里与远处的像素互相影响,而不用靠层层叠加扩散。
频域里的权重点对应不同的「全局频率模式」——低频对应大块结构,高频对应纹理细节。可学习的频域卷积让网络自己决定哪些全局模式在补全时有用;而且同一个卷积核作用在所有频点上,使模型对「图像整体被缩放」有一定等变性,这正是 LaMa 能泛化到训练时没见过的分辨率的原因。论文的对比实验里,用 FFC 的 LaMa-Fourier 比同规模的常规卷积版本只慢约 20%,参数却少约 40%,这也是设计与效率兼顾的一个直接数据点。
训练时的掩码怎么生成:大掩码策略
LaMa 的第三个组件是训练掩码的生成方式。论文的观察是:真正限制结果的不是生成器会不会补洞,而是「训练时喂给它的洞到底长什么样」。如果只训练窄的、规则的小洞,网络永远不需要调用全局感受野,FFC 和 HRFPL 的能力就被浪费了。
所以 LaMa 采用了一种更激进的掩码采样策略:训练掩码等概率地来自两类——宽掩码(把随机多边形链按较大的随机宽度膨胀成形)和盒掩码(任意长宽比的矩形)。两类掩码面积都很大,而且「宽」这一点比「面积大」更关键:宽掩码会切断画面中的连续结构,逼网络从远处重建结构,而不是沿着洞的边界一圈一圈往里糊。论文的消融对比了「小窄掩码训练」和「大掩码训练」,结论是大掩码训练不仅在宽洞上有优势,在窄洞上也不掉分——掩码的多样性本身就是一种数据增强。
损失函数:感知损失与对抗损失的分工
LaMa 的损失是一个多项加权和,但核心分工只有两条:高感受野感知损失(HRFPL)负责全局结构与监督信号,对抗损失与判别器特征匹配损失负责局部真实感和训练稳定。HRFPL 的定义是:
LHRFPL(x,x^)=M([ϕ(x)−ϕ(x^)]2)其中 ϕ 是一个固定权重的预训练网络,M 不是逐像素的简单平均,而是「层内空间均值 → 层间均值」的两级平均,把不同深度、不同尺度的特征误差统一压成一个标量。预训练网络的选择是这一项的设计核心:论文用的是在分割任务上预训练的、带空洞卷积的 ResNet-50,而不是常见的 ImageNet 分类 VGG。原因有两个:分类网络偏重纹理,浅层特征对补全的「结构一致性」帮助有限;而分割网络本身被训练成对物体边界和区域敏感,深层特征直接编码「这里是什么对象、边界在哪」。空洞卷积则把它的有效感受野撑大,使损失能评价远距离结构是否一致。这与 FFC 的全局感受野是一对:生成器有「看全局」的能力,损失也要有「评价全局」的能力,否则这个能力根本不会被训练出来。
对抗损失只负责局部真实感:判别器是 R1 正则化的 patch 判别器,而且只有与掩码区域相交的 patch 才被标为「假」——掩码外的区域本来就是真实像素,不需要判别器再去纠。正因为有 HRFPL 这个强监督项,生成器很快学会复制已知区域的内容,对抗损失才有余力只去磨缺失区域里的局部细节。最终的损失还加上判别器特征匹配损失(在判别器特征上再做一次感知约束,用来稳定训练)和 R1 梯度惩罚,但它们都是辅助项;理解 LaMa 只需要抓住「HRFPL 管全局、对抗项管局部」这条主线。

上图来自 LaMa 论文 Figure 5(来源:arXiv:2109.07161):所有 LaMa 模型只在 512×512 图像的 256×256 裁剪块上训练,MADF 直接在 512×512 上训练;随着测试分辨率升高,常规卷积模型迅速出现明显伪影,而 FFC 模型仍能生成语义一致、细节清楚的补全结果。图中每个模型列下方标了参数量(例如 LaMa-Fourier 27M 与 51M 两个版本),可以看到 FFC 带来的泛化并不是靠堆参数换来的。
这张图说明了「分辨率鲁棒」的实际含义:同一套权重拿去处理比训练时大得多的图,补出的结构仍然成立。FFC 在频域里做卷积,权重不绑定具体的空间边长,因此分辨率变化不会像常规卷积那样直接破坏已学到的模式;而代价是频域变换本身的开销——需要先对半个特征图做正变换、再逆变换,单层计算量高于同尺寸普通卷积,显存占用也随特征图尺寸增长。这也是后来不少实现只在中高层放几层 FFC、而不是全网络铺设的原因。
工程上的取舍:为什么不用空洞卷积替代 FFC
一个自然的疑问是:既然 FFC 贵,用空洞卷积(dilated convolution)不是也能快速扩大感受野吗?论文专门做了这个对比。结论是:空洞卷积确实也能提升修复效果——这从侧面印证了「有效感受野增长得越快越好」这个假设——但它的感受野结构更受限:空洞是固定网格,同一层里能触达的位置之间隔着固定间距,且整个网络的感受野形状强依赖输入分辨率。论文 Figure 5 的分辨率迁移实验显示,用常规卷积的版本在提高测试分辨率后很快崩溃,而 FFC 版本依然稳定。所以 FFC 换来的不只是「感受野更大」,而是「感受野随分辨率自适应的全局视野」。在实现层面,空洞卷积在大多数框架里都有现成算子,因此论文也把它作为「资源受限时的可行替身」来讨论。
LaMa 的推理成本
LaMa 是在原分辨率上做补全的,而不是把图压到小的潜空间再还原。这意味着它的推理成本随像素数近似线性增长,大图(如 2048×2048)单次前向会更贵;但它的优势是一次前向出图、无需迭代采样。对修复这类要求确定、快速、无损的服务场景,这个取舍非常合理:修复通常不是生成多样性的场景,用户要的就是「把那个洞补掉,别的别动」。
第二条路线:配对监督——pix2pix 的条件映射
LaMa 处理的是「目标未知的补全」。图像到图像翻译里最简单也是基线最多的情形是配对翻译:训练集里每张输入 x 都有一张对应的目标 y,比如「灰度图—彩色图」「草图—实拍图」「分割标签图—城市街景」。任务就是学一个映射 G:x↦y。
pix2pix(Isola 等,2017,CVPR)的贡献是给出了一套通用、简单、效果出人意料之好的配方:U-Net 生成器 + 条件 PatchGAN 判别器 + L1 损失。它的直觉是:只要这个映射足够「确定」,就不需要引入随机性,把问题当成有监督回归去做即可。
生成器:U-Net 的跳连接为什么必须要有
pix2pix 的生成器是 U-Net:下采样编码、上采样解码,并在同分辨率层之间加跳连接(skip connection)。论文同时对比了普通的编码器-解码器与 U-Net 两种生成器:在 Cityscapes 标签图转照片任务上,同用 L1 + 条件 GAN 时,U-Net 的逐像素准确率为 0.55,编码器-解码器只有 0.29(论文 Table 2);差距来自跳连接保留的结构细节。这个对比直接决定了后续几乎所有同尺寸映射任务都默认采用 U-Net 骨架。跳连接的作用是绕过瓶颈直接传递高分辨率细节——草图翻译里,草图里的线条轮廓(结构信息)需要被精确保留到输出里;如果只靠深层的瓶颈特征恢复,细线条在多次下采样后会丢失或模糊。这本质上是在做低层结构信息与高层语义信息的融合,也是 U-Net 成为所有「输入输出同尺寸」任务默认骨架的原因。

上图展示条件 GAN 的训练流程(来源:pix2pix 论文,arXiv:1611.07004 配图):生成器 G 接收条件输入 x 输出 y^;判别器 D 同时接收输入 x 和输出(真值 y 或生成结果 y^),判断这对 (x,y) 是否「真实地匹配」。注意判别器的输入不是单独一张图,而是条件–输出这一对,这正是「条件」判别器的含义:它评判的不是「像不像一张真图」,而是「给定这张输入图,这个输出是否像真实的对应关系」。换句话说,条件判别器把「与输入相容」这件事也纳入了「真实」的定义——这正是它比普通 GAN 更难被「骗」的原因:若生成器把输入结构丢了但输出好看,D(x,y^) 仍会给出低分。补全任务里道理相同:纯判别器只要求「补出来的东西真实」,条件判别器还要求「与已知上下文相容」;LaMa 的判别器则更进一步,只对掩码区域内的 patch 提要求,避免去惩罚那些本来就真实的已知像素。
判别器:PatchGAN 为什么只看局部
pix2pix 的判别器不是判断整张图真假的普通 GAN 判别器,而是 PatchGAN:判别器在最后几个卷积层上把输入切成大小不一的 patch,对每个 70×70 像素的局部块分别判断真假,最终输出一个二维的真伪分数图,损失对它取平均。由于是全卷积结构,它既能用于大图,也能用于任意尺寸的输入,而且每个 patch 的梯度都只依赖于局部区域。
为什么这样做?如果判别器要判断「整张图的语义是否合理」,那就需要极深的网络和大感受野,训练会很困难;而高频的纹理、边缘等细节恰恰是局部可判的。PatchGAN 把判别任务交给判别器(保证局部纹理逼真、锐利),把全局语义一致性交给 L1 损失(保证输出与真值在全局上接近),两者分工,训练更稳、成本更低。
patch 尺度本身也是可调的设计参数,论文比较了 1×1、16×16、70×70、286×286 几种感受野:1×1 只鼓励颜色正确、没有空间结构;16×16 主要起锐化作用;70×70 在纹理清晰度和全局结构之间平衡最好;继续放大到整图(286×286)视觉上与 70×70 接近,但按 FCN-score 反而略差。这个尺度扫描说明「判别器该看多大范围」不是越大越好,而是要与重建损失的分工相匹配。
还有一个部署上的细节常被忽略:判别器只在训练时需要,推理时直接丢弃,因此线上服务只保留生成器;这也意味着 pix2pix 的推理成本与普通 U-Net 分割网络同量级,而不是「GAN 的成本」。
损失:为什么用 L1 而不是 L2
pix2pix 的损失是条件 GAN 损失加一个 L1 重建项:
G∗=argGminDmaxLcGAN(G,D)+λLL1(G)LcGAN(G,D)=Ex,y[logD(x,y)]+Ex[log(1−D(x,G(x)))],LL1(G)=Ex,y[∥y−G(x)∥1]其中 D(x,⋅) 是判别器对「(输入, 输出) 对」给出的真伪分数,G∗ 是优化后的生成器,λ 控制重建损失相对对抗损失的权重。论文里 λ=100,即重建损失比对抗损失大两个数量级——这说明作者用对抗损失主要「修补」L1 带来的糊,而不是让它主导训练。
为什么 L1 优于 L2?L2 平方误差对大误差的惩罚更重,会让模型倾向输出「多个可能结果的均值」——在图像里均值通常就是模糊。L1 对误差是线性的,惩罚更温和;论文的原话是「L1 比 L2 更不鼓励模糊」(L1 encourages less blurring),这是它选择 L1 的直接理由。论文在建筑立面与城市街景上对「仅 L1」「仅条件 GAN」「L1 + 条件 GAN」三种组合做了并排对比:只给重建损失时输出是模糊的「平均解」;只给条件 GAN 时纹理清晰但颜色或结构可能偏离输入;两者相加则既有清晰纹理又与输入结构贴合。
这个分工也能从指标上看出来。论文 Table 1 在 Cityscapes 标签图转照片任务上给出:仅 L1 时逐像素准确率 0.42、类别 IoU 0.11;仅条件 GAN 时分别为 0.57 与 0.16;L1 + 条件 GAN 达到 0.66 与 0.17。条件 GAN 单独就能把「结构可辨识度」拉起来,但它会引入伪影;L1 把输出拉回真值附近,二者相加才同时得到「可辨识」和「少伪影」。这就是为什么二者缺一不可,也解释了为什么对抗项只应该做修补而不是主导。
pix2pix 的边界
pix2pix 依赖配对数据。现实里成对样例往往稀缺且昂贵——同一时刻同一地点的「真实照片」和「画作」几乎不可能同时存在。这个数据瓶颈直接引出了第三条路线。
补全任务在训练数据构造上恰好没有这个瓶颈:修复的数据集就是「随便拿一批真实图片 + 随机挖洞」,输入和目标天然成对。这也是修复类方法比一般图像翻译更容易在工业界落地的原因之一——数据不靠人工对齐,靠程序生成。
第三条路线:无配对翻译——CycleGAN 的循环一致性
CycleGAN(Zhu 等,2017)解决的问题是:只有两个域各自的图像集合 X 和 Y,没有任何配对样例,如何学一个「风格 A → 风格 B」的映射?
如果没有配对,直觉上的问题立刻暴露:映射的方向和内容都不确定。一个从 X 到 Y 的网络完全可以学到「只要输出是 Y 里的任意一张图就行」——它学到了 Y 的分布,却丢掉了 x 里的内容。所以必须给映射加一个约束:变换必须「可逆地保留信息」。
循环一致性
CycleGAN 用两个生成器 G:X→Y 和 F:Y→X,以及两个判别器 DX,DY。核心约束是:
F(G(x))≈x,G(F(y))≈y即「把 x 变成 y,再把 y 变回 x,应该回到原来的 x」。这就是循环一致性:它无法保证 G 只改变风格而不改变内容,但它强制 G 的输出不能丢掉任何「F 能还原」的信息——如果 G 把一匹马强行变成了斑马纹理以外的完全不同的东西,F 就无法再还原回去,循环就会失败。

上图来自 CycleGAN 论文(来源:arXiv:1703.10593,重建损失示意图),按照「输入 x → 输出 G(x) → 重建 F(G(x))」的顺序展示了前向回路:x 先经 G 映射到目标域,再经 F 映射回来,重建结果要与原图 x 一致。反向 y→F(y)→G(F(y))≈y 是对称的。两个方向的映射与两个域判别器共同构成闭环。
完整目标
CycleGAN 的总目标由三项组成:
L=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)Lcyc(G,F)=Ex[∥F(G(x))−x∥1]+Ey[∥G(F(y))−y∥1]其中第一、二项是两对生成器/判别器的对抗损失,Lcyc 用 L1 度量「往返之后与原图的差别」——这里同样选 L1 而非 L2,理由和 pix2pix 相同:L2 会鼓励「平均」,而往返应该被精确还原。论文中 λ=10。此外论文还引入了身份损失——把域 Y 的真实图输入 G 时,输出应尽量不变——作用是帮助模型保留颜色、防止生成器无谓地改动色调。这一项是可选扩展:在「照片转画作」这类颜色本身就不该保持的任务上并不需要它,但在「马转斑马」这类需要保留背景颜色的任务上会明显减少非预期的颜色漂移。论文的常规实验统一取 λ=10。

上图来自 CycleGAN 论文(来源:arXiv:1703.10593),对比了「配对训练」(需要成对的 xi,yi)与「无配对训练」(两堆各自域的图像,只需学习两组映射)。注意 CycleGAN 的判别器分别只负责各自域内的真假判断,而不是像 pix2pix 那样同时看到「输入—输出」这一对;它判断的是「这张输出像不像域 Y 的真实图片」,而「像 x」这件事由循环一致性来保证。
为什么循环一致性不是完美约束
循环一致性本质上是一个信息保留约束,不是内容对应约束。它允许某些符合「往返可逆」的退化变换通过,比如在满足循环可逆的前提下把两匹马的颜色对调——如果这种对调在两个方向上都可逆,循环损失并不会惩罚它。这也是 CycleGAN 早期最著名的失败模式「马 → 斑马」:变换把前景纹理改掉后,背景或部分结构也可能被非预期地改动。后续工作(CUT 等)提出在没有配对的前提下用另一条约束取代或补充循环一致性,但这个问题的本质没有变:无配对监督给出的约束是弱的,只能保证分布和可逆性,不能保证逐元素的内容对应。这也是为什么在工业界,如果能够获得少量配对数据(哪怕粗糙),配对方法的可靠性明显更高。
训练与推理成本
CycleGAN 要同时训练两个生成器和两个判别器,训练量大约是 pix2pix 的两倍。推理时只需要一个方向的生成器:例如「照片 → 画作」只需要 G 和一个编码器-解码器结构的前向,单次出图、无迭代采样,属于很便宜的翻译服务。它的代价不在推理而在训练难:循环一致性对生成器的表达能力有一定约束,判别器的稳定性要求较高,训练过程中容易出现模式塌缩(生成器只学会输出少数几种样子)。论文用图像缓冲区保留 50 张历史生成图来更新判别器,就是为了缓解这一点;同时用 batch size 1、前 100 个 epoch 保持 0.0002 学习率再线性衰减到零的训练安排来稳定早期训练。
消融:循环一致性为什么两向都不能少
CycleGAN 论文的消融实验很能说明「只靠对抗」的问题有多严重。在 Cityscapes 标签图转照片任务上,论文 Table 4 给出:只加循环损失(不加对抗)时逐像素准确率仅 0.22、类别 IoU 0.02——重建对了,但输出根本不像目标域的图片;只加对抗损失时准确率 0.51,但会出现模式塌缩,不同输入产生几乎相同的输出;加前向循环一致性(x→G(x)→F(G(x)))后 0.55;加反向循环一致性后反而只有 0.39,单边约束让两个映射「各朝一边漂移」;两向同时加(完整 CycleGAN)达到 0.52 与 0.17。两组数字说明:对抗项负责「像目标域」,循环项负责「守住输入」,只加一项都会顾此失彼。
三条路线的统一视角
把三条路线放在一个横轴上会比较清楚:
| 路线 | 代表 | 监督信号 | 生成方式 | 输出是否确定 | 主要约束 |
|---|---|---|---|---|---|
| 掩码重建 | LaMa | 原图(目标即输入) | 一次前向,原分辨率 | 基本确定 | 大掩码 + 高感受野感知损失 |
| 配对翻译 | pix2pix | 成对 (x,y) | 一次前向 | 基本确定 | 条件判别器 + L1 |
| 无配对翻译 | CycleGAN | 两个域的无配对集合 | 一次前向 | 基本确定 | 对抗 + 循环一致性 |
三者的共同点是:都不做迭代生成,一次前向输出整张图。这是它们与扩散、自回归生成在推理形态上最大的区别——后者要多次去噪或逐 token 解码,而这三个架构是把「生成」当成一个确定性的条件映射来学。代价是单值输出:给定同一个输入,它们只能给一张图,不能像扩散模型那样一次生成多个合理结果供选择。
这也是如今这些架构作为「预处理/后处理层」大量存在于生产管线中的原因:它们便宜、确定性强、易于部署,通常承担修复水印、去除划痕、风格化预烘、上色等任务,而非承载生成多样性。
从部署视角看,三类架构的工程差异值得单独点出:
- 显存与延迟:LaMa 在原分辨率上跑,显存随输入像素数线性增长,但频域分支要额外保存复数缓冲,2048 级大图的峰值显存仍明显高于「先压到小潜空间」的路线;pix2pix 与 CycleGAN 通常工作在 256 或 512 分辨率,批次吞吐容易估算。
- 批处理:三者都是单次前向,可以安全地做批量推理——固定形状、无动态循环,非常适合在 GPU 上按 batch 批量处理成百上千张待修复或待翻译的图片。
- 数值约束:CycleGAN 训练出来的生成器对输入分布很敏感(训练域之外输入会出明显的伪影),生产上一般要先做域检测或置信度筛选;pix2pix 与 LaMa 的输入分布相对更宽,可以直接接在任意来源的图片后。
一个真实落地场景可以说明这三条路线如何组合:内容平台的水印去除与老照片翻新用 LaMa 做修复;商家上传的资质照片做轻度风格统一、背景替换用配对或条件翻译;平台头像的「卡通化」这类用户自选功能,则通常用无配对翻译训练——因为它不要求成对样例,可以把海量的普通头像和卡通头像两堆图直接拿来训练。
从这三条路线到今天的工程形态
后面十年里这三个架构并没有被推翻,而是被当作「基础单元」嵌进更大的系统,主要是三种演化路径:
- 换生成器,保留任务定义。修复任务从「GAN 生成器」换成「扩散生成器」或「潜空间扩散」,条件形式仍是「已知区域 + 掩码」,但有了多解能力和更强的语义先验;代价是推理从一次前向变成几十步去噪,服务成本上升一个量级。工程上用「GAN 快速出初稿 + 扩散微调」的级联方式折中。
- 换条件注入形式,保留主干。指令式图像编辑把「指令文本 + 参考图」作为条件送进扩散主干,本质上是把图像翻译的「输入结构作为条件」推进到「自然语言作为条件」;站内关于指令式图像编辑模型架构的拆解,讨论的正是这一条线上的条件注入位置——通道拼接、序列拼接、双路编码三种形态。
- 换监督形式,保留「无配对」问题。CUT 等后续工作用「对比学习约束」替代循环一致性,试图在保留内容的前提下取消双生成器的往返成本;但核心问题——无配对监督约束弱于配对监督——依然存在。
把这些演化放在一起,能看出本文三条路线的真实价值:它们定义了这类任务的三个基本维度——「知道要补什么/换成什么」是条件, 「什么算对」是损失, 「怎么用一次前向产出」是生成器。今天任何一个修复或翻译系统的设计讨论,本质上都还是在回答这三个问题。
小结
图像修复与图像翻译的三条基础架构分别回答了一个问题:
- 掩码重建(LaMa)回答「如何补全局」:FFC 把感受野做成全图,让补全不只依赖局部纹理;大掩码训练和扩张策略把「在大缺口下生成」变成可学的问题;高感受野感知损失让监督和架构能力相匹配。
- 配对监督(pix2pix)回答「如何用成对数据学一个确定映射」:U-Net 保住结构细节,条件判别器评判「这一对是否匹配」,L1 维持锐利、避免 L2 的模糊平均。
- 无配对约束(CycleGAN)回答「没有成对数据时如何定义正确」:循环一致性把「保留内容」变成一条可优化的往返损失,但它只保证可逆,不保证逐元素对应。
后续的技术发展(指令式图像编辑的扩散路线、结构引导的修复、CUT 式无配对方法、以及潜空间中的编辑模型)都是在这些基础机制上叠加条件形式或更换生成器,而不是推翻它们。可参考站内关于指令式图像编辑模型架构的拆解:那篇文章讨论的「指令式改图」,本质上就是把这三种架构中的条件注入形式推进到多模态上下文的条件建模。
参考资料
- Image-to-Image Translation with Conditional Adversarial Networks (pix2pix)
- Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN)
- Resolution-robust Large Mask Inpainting with Fourier Convolutions (LaMa)
- Image Inpainting for Irregular Holes Using Partial Convolutions (PConv)
- Generative Adversarial Nets (GAN)
- Image-to-Image Translation with Conditional Adversarial Networks 官方项目页
- Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 官方项目页
- Image-to-Image Translation in PyTorch(pix2pix 官方实现)
- saicinpainting: LaMa 官方实现(Apache-2.0)
- Contrastive Unpaired Translation (CUT) 论文
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



