正在获取所在地区…
正在读取天气
音乐
暂未播放
人脸编辑与换脸基础架构:身份怎么被抽取、传递与再注入——从 FaceSwap 到 IP-Adapter 与 InstantID
问题定义:人脸编辑到底在「编辑」什么
把一张人脸拆开看,它可以被描述成三个互相纠缠的变量:
- 身份(identity):这个人是张三还是李四。它由骨相、五官的比例与间距、肤色、眼睛形状等一组相对稳定的特征决定,不随表情变化。
- 属性(attribute):表情、姿态、光照方向、妆容、发型、年龄段。它们在同一身份的不同照片之间剧烈变化。
- 外观细节(appearance detail):皮肤纹理、毛孔、发丝、眼镜反光、高光。这些细节决定了一帧画面看起来「真不真」。
普通人脸编辑任务的全部难点,都可以用这三个变量之间的关系来定义:改动其中一个,另外两个会发生什么。
换脸(face swapping)要求「身份换成源图的人,属性与外观细节保留目标图的」——这是「换其一,守其二」。表情驱动(face reenactment)要求「姿态表情跟随驱动视频,身份与外观保留源图的」——这是另一种「换其一,守其二」,只是被替换的变量换成了属性。身份保持生成(identity-preserving generation)要求「按文字生成一个任意风格、任意场景的人,而身份必须像参考图」——这是「造新图,守其一」。人脸修复(blind face restoration)则是完全不换身份,只把损毁的外观细节补回来。
这四类任务从模型的角度看是同一条流水线上的四个工位:先理解脸(把脸结构化,抽取身份)、再操作脸(在某个表示上做替换或驱动)、最后重建脸(把编辑后的表示画回像素)。本文把这四个工位的技术路线讲清楚,并解释为什么工业界的换脸产品几乎都把它们串成一个固定顺序的流水线,而不是训练一个端到大模型。
一个必须先说清楚的边界:本文只讨论模型架构与推理机制,不涉及如何生产、传播违法或未授权的人脸内容。站内关于语音克隆、说话头等话题的文章同样只做架构层面的拆解,原理讲清楚了,用于鉴别与防御同样需要它。
先看总体图:人脸「结构化」的四种尺度
在动手讲任何模型之前,要先明确一件事:人脸编辑的每一代方法,都是在某个尺度的「人脸表示」上工作。这个尺度决定了它能编辑什么、需要什么监督信号、推理时要跑多少东西。
像素尺度:最早的 DeepFakes 系换脸没有任何人脸表示,直接对裁剪对齐后的 64×64 或 128×128 人脸贴片做端到端的图像到图像翻译。网络从「源图人脸贴片」直接生成「目标图人脸贴片」,中间没有任何显式的身份或姿态变量。这条路线的问题在下一节展开:它对数据的要求几乎不可满足。
稀疏语义尺度:人脸解析(face parsing)给出每个像素属于哪个部位的分割图(皮肤、眼睛、眉毛、嘴唇、牙齿、头发、耳朵……);人脸关键点(landmark)给出 68 个或 478 个点的坐标;三维人脸重建模型(3DMM)给出形状参数、表情参数、姿态参数。这一层是「可编辑的语义」,大部分工程化的换脸与表情驱动都建立在这层之上。
潜向量尺度:身份识别网络把人脸压缩成一个 512 维的身份嵌入;生成模型的人脸潜码(如 StyleGAN 的 W+ 空间)把整张脸的生成参数压成一个低维向量。这一层是「可插拔的身份」,前向传播时只需要把源图的身份向量注入到目标图特征里。
连续形变尺度:第一阶运动模型(First Order Motion Model,FOMM)这类方法把两帧之间的运动表示成稀疏关键点加局部仿射变换,再加上一张稠密的遮挡图。这是「可迁移的运动」,是表情驱动与肖像动画的基本形式。
这四种尺度不是替代关系。现代人脸编辑系统通常把它们叠起来:人脸解析用来限制编辑区域,关键点或 3DMM 用来对齐,身份嵌入用来注入身份,运动表示用来驱动,生成模型负责最后的重建。理解了每种尺度「能表示什么、不能表示什么」,后面五个架构的取舍就都有了解释。
第一块基石:人脸预处理——检测、对齐、解析
任何一条人脸编辑流水线的第一步,都是把人脸从原图里「挖」出来并标准化。这一步看起来只是工程细节,却决定了后面所有模型的表现上界。
检测与关键点:检测器给出人脸框与五个基准点(双眼、鼻尖、左右嘴角),再用这五个点做人脸对齐(一般是相似变换,把两眼连线的角度摆正,并按两瞳孔距离缩放)。很多身份识别模型(ArcFace 系训练出来的)都要求输入对齐到 112×112 或 512×512 的固定模板,否则嵌入会明显偏移。换脸用的生成模型往往在这之前再裁一个更松的脸部区域,保留下巴、耳朵、头发边缘,因为换脸后做融合时需要这些边界信息。
人脸解析:解析网络输出逐像素的语义标签,工业上常见的做法是 BiSeNet 这类轻量实时分割网络,在 CelebAMask-HQ 的 19 类标注上训练。解析结果直接用于换脸的最后一步——软融合:只把「脸、眉毛、眼睛、鼻子、嘴唇」这些区域的生成结果贴回去,并用高斯羽化或基于解析图的软掩码过渡,这样边界处不会出现突兀的色块断线。在表情驱动中,解析图还可以用来约束「哪块区域跟着动、哪块区域不许动」。
三维人脸重建:3DMM 系模型(如以 ResNet 回归 3DMM 参数的网络)给出形状、表情、姿态三组参数。它的价值不在于重建精细度,而在于提供一个与姿态解耦的表示:同一个人不同角度的照片,可以还原到同一个中性表情、正面的「标准脸」上。后面会看到,InstantID 这类身份保持生成模型在注入身份前,需要先把参考图的人脸摆正,本质就是在用小网络做类似的规范化。
这些预处理模块的耗时都很低:一个检测加对齐加解析的链路,在单张 1080p 图片上通常是十几到几十毫秒量级,在视频场景里每帧都要跑一次。它们不是本文的重点,但要记住:换脸的最终速度,很多时候是被预处理和最后的融合决定的,而不是生成模型本身。后面每一节的「推理账」都会回到这条账上。
第二块基石:身份嵌入——ArcFace 为什么成为换脸系统的公共前端
几乎所有现代换脸与身份保持生成系统,都从同一个地方拿身份:一个在数百万张人脸、几万个身份上训练出来的人脸识别网络,典型代表是 ArcFace。
ArcFace 解决的问题是:怎么让同一个人的不同照片在嵌入空间里聚拢、不同的人之间推开。它的做法是把分类头的最后一个线性层改成与嵌入方向相关的超球面上的加性角度间隔:
L=−logescos(θyi+m)+∑j=yiescosθjescos(θyi+m)其中 xi 是人脸图像,θj 是嵌入向量与第 j 个身份类原型向量之间的夹角,m 是加性角度间隔(ArcFace 原文用 m=0.5),s 是尺度因子(原文用 s=64)。这个公式的直觉是:它要求「正确类别的夹角」比「最接近的错误类别的夹角」还要再小 m 弧度,从而逼迫网络学到对角度敏感、对模长与光照不敏感的特征。
对换脸系统来说,ArcFace 嵌入有三个实用性质:
- 姿态鲁棒:同一个人正面与侧脸的嵌入余弦相似度通常仍在 0.5 以上,跨不同人通常远低于 0.3。这意味着源图不必是正面照。
- 可比较:换脸质量评测里的「身份相似度」指标,最常用的一步就是用 ArcFace 嵌入计算换脸结果与源图的余弦相似度,再乘一个经验缩放系数报成一个百分比。同一网络既是训练时的监督信号,又是评测时的度量。
- 可插拔:它是一个独立的、冻结的「身份提取器」,输出一个 512 维向量。生成模型只要接一个全连接层把它映射到自己的特征维度即可,不需要和识别网络联合训练。
这一点决定了人脸编辑系统的整体形态:身份提取器与生成器天然解耦,于是出现了「训练一个不绑定具体身份的生成器、运行时把任意身份向量注入进去」的设计——这正是下一节 SimSwap 的核心思路。
第三块基石:人脸解析与掩码——换脸最后一步的融合
换脸与表情驱动的输出,最终都要贴回原图。如果直接把整块裁剪区域替换,会出现三类典型问题:脸型边缘处因为生成器输出的下巴轮廓与目标图不符而产生「双层下巴」或错位;头发与脸的交接处出现色差与断发;眼镜框、刘海等遮挡物被生成器无差别重画,造成「眼镜消失」或「头发穿透」。
工程上常用的解法是软融合:
Iout=M⊙G+(1−M)⊙Itgt,M=feather(Mparse)其中 Mparse 是从目标图人脸解析结果导出的二值掩码(只取脸部与五官),feather 是半径若干个像素的高斯羽化或腐蚀后再膨胀,G 是生成器输出的换脸结果,Itgt 是目标图。更精细的做法会在人脸区域内部再按部位分别设权重,例如眼部与嘴部用接近 1 的权重保证细节,脸颊边缘用渐变的权重。另外通常还要做一步颜色匹配(color matching),把生成结果在脸部皮肤区域的颜色均值与标准差对齐到目标图,消除生成器输出偏色的问题。
这一步的工程含义是:换脸模型的真实评价要放在融合后的整图上看,单独看生成器输出的人脸贴片并不公平。很多论文里换脸模型的差距是「身份相似度 vs 属性保持」的取舍,而工程上好用的系统还会在这个取舍之上叠加一层掩码与颜色校正,把肉眼可见的接缝问题压下去。
路线一:编码器—身份注入—解码器,把身份当成一种「风格」
SimSwap(Chen 等,2020 年发表于 ACM Multimedia,arXiv:2106.06340)是这条路线最清晰的教科书式实现。它把换脸拆成三段:编码器从目标图提取特征,身份注入模块把源图身份灌进特征,解码器把特征还原成一张脸。

上图是 SimSwap 论文中的框架图。左侧是目标图经过编码器得到的属性特征;上方是源图经身份提取器得到的身份向量;中间的 ID 注入模块(ID Injection Module,IIM)由若干个 ID-Block 组成,把身份向量注入到属性特征中;右侧解码器输出换脸结果。图下半部分标出了四条训练损失:身份损失、属性保持、重建损失与弱特征匹配损失,以及判别器带来的对抗损失。
为什么不能直接把身份向量拼到特征上? 最朴素的做法是把 512 维身份向量复制成空间尺寸、与编码器特征在通道维拼接。问题是身份向量是一个全局向量,不含任何空间位置信息,直接拼接会让解码器把它当成「另一张图的特征」来读,结果是身份确实变了,但目标图的姿态、表情、光照全被覆盖。SimSwap 的解法是把身份当成逐通道的统计量注入,而不是当成一张额外的特征图。
ID-Block 的 AdaIN 形式:ID-Block 是一个改过的残差块,把原本的批归一化换成自适应实例归一化(Adaptive Instance Normalization,AdaIN):
AdaIN(F,vS)=σS⊙σ(F)F−μ(F)+μS其中 F 是编码器输出的特征图,μ(F) 与 σ(F) 是它在通道维度上的均值与标准差;σS 与 μS 是由身份向量 vS 经过两层全连接生成的逐通道缩放与偏移;⊙ 表示逐通道相乘,F−μ(F) 与 σ(F) 的除法也都是逐通道进行。这个式子的含义是:先把目标图特征里「属于目标人的那部分统计特性」减掉(减均值、除标准差),再换成源图身份对应的统计特性(乘 σS、加 μS)。
为什么是「统计量」?把特征图的通道统计量看成一种「风格」,这与风格迁移里的 AdaIN 是同一个直觉。在人脸特征里,逐通道的均值与标准差承载了大量与身份相关的低频信息(脸型、五官比例、肤色基调),而空间结构(姿态、表情的位置关系)主要由特征的空间排布承载。AdaIN 只改统计量、不动空间排布,就实现了「换身份、守属性」的第一近似。这个近似当然不完美,所以还需要损失函数去约束——这正是 ID-Block 之外还有一整套训练目标的原因。
四项损失各自管什么:
- 身份损失:Lid=1−cos(f(G(IS,IT)), f(IS)),其中 f 是冻结的 ArcFace 网络,G 是生成器。它要求换脸结果在身份识别网络看来像源图的人。注意这里用的是余弦距离而不是欧氏距离,因为 ArcFace 嵌入的判别性体现在方向上。
- 重建损失:当源图与目标图是同一张图时,生成器应当能重建输入,Lrec=∥G(I,I)−I∥1。它防止生成器整体偏离人脸流形。
- 对抗损失:判别器判断输出是真实人脸还是生成人脸,保证皮肤纹理、发丝等高频细节的逼真度。没有它,前三项都会把结果拉向「模糊但平均正确」的解。
- 弱特征匹配损失:判别器的中间层特征在真实图与生成图之间做 L1 匹配,但只在浅层、且用很小的权重。
第四项是 SimSwap 相对前作最关键的改动。强特征匹配(在判别器的所有层、用大权重做匹配)会让生成器过度复制目标图的结构,身份注入被压制,换脸效果变成「几乎没换」。完全不用特征匹配,身份相似度上去了,但姿态与表情开始漂移,甚至把源图的发型、脸型带到目标图上。SimSwap 的「弱」体现在截断层数与降低权重,本质是在「身份自由度」与「属性约束」之间留一个可调的缝。论文的消融图(Figure 8)专门展示了这个取舍:无特征匹配的一列身份最像但属性错位,原始强特征匹配的一列属性最稳但身份不足,弱特征匹配处在中间。量化上,论文在 CelebAMask-HQ 上随机抽 1000 对源图/目标图,用换脸结果与源图的平均身份损失衡量「改身份的力度」,再用 1000 张图做自换脸、以平均重建损失衡量「丢了多少目标属性」;弱特征匹配的两个版本在这两项上同时处在可用区间,而完全去掉特征匹配的版本身份损失最小、重建损失最大。
这套架构的工程优势:整条链路只包含一次编码、若干次 ID-Block 卷积、一次解码。没有扩散模型的多步去噪,也没有光流网络,因此单帧延迟很低,适合实时视频换脸。分辨率由训练时的裁剪尺寸固定(论文在 224×224 的对齐裁剪上训练,官方实现另外发布了 512×512 档的模型),换脸结果的质量上界由这个裁剪尺寸决定:512 档能保留更多五官细节,但对齐误差与融合误差也会更明显。
它的结构性局限:
- 没有显式的三维结构。侧脸、大角度俯仰、强遮挡下,编码器—解码器的二维特征无法可靠地把「身份」和「属性」分开,容易出现脸型不匹配、耳朵与下颌线断裂。
- 训练依赖身份标签。身份损失需要每人多张照片的识别数据集(SimSwap 用 VGGFace2 训练,CelebAMask-HQ 只用于评测),身份数量与多样性直接决定泛化。
- 融合仍是外挂的。模型本身不知道人脸解析掩码,边界处理要靠外部流水线。
后续的工程化变体(如 inswapper 这类工业换脸模型)大多沿用了「编码器 + 身份注入 + 解码器」的骨架,但把编码器换成更强的结构、把身份注入做成多尺度的 AdaIN 或交叉注意力、并用更精细的解析掩码与颜色匹配来收尾。到扩散模型时代,这套「单次前向」的架构被另一条路线取代:把身份注入放进去噪网络的交叉注意力里,用多步生成换取更高的画质与更强的可控性。
路线二:用运动驱动脸——第一阶运动模型与肖像重演
换脸改的是身份,保持的是目标图的运动;表情驱动(也叫肖像重演,portrait reenactment / animation)符号正好反过来:输入一张源图与一段驱动视频,输出一段「源图的人做出驱动视频里动作」的视频。它不换身份,只换运动。
如果允许用一段目标人物本人的视频来训练,这件事是简单的:监督信号就是逐帧重建。但工业上真正需要的,是训练时不告诉模型「哪一段视频里是谁」,让模型自己学会把运动与外观分开——这样换到任何源图都能用。第一阶运动模型(First Order Motion Model,FOMM;Siarohin 等,2020 年发表于 NeurIPS,arXiv:2003.00196)给出了这条自监督路线的标准答案。

上图是 FOMM 论文的 Figure 2。左侧的「运动估计模块」从源图与驱动帧中分别检测稀疏关键点及局部仿射变换(相对参考帧 R),再经稠密运动网络生成从驱动帧到源图的稠密光流 T^S←D 与遮挡图 O^S←D;右侧的「图像生成模块」用光流把源图特征扭曲过去,再由生成器渲染出目标帧。整条链路的关键是:运动完全由关键点与仿射参数描述,外观只存在于源图里。
为什么用「第一阶」近似? 一阶近似的前提是运动函数在关键点邻域内足够光滑,于是可以用「零阶位移 + 一阶导数」在局部线性地描述它。二阶、三阶展开能表达更复杂的局部变形,但每提高一阶就多一组参数,且高阶项对噪声极其敏感——在自监督训练里没有关键点真实标签,高阶项很容易学成噪声拟合。FOMM 选择停在第一阶,是在「表达力」与「可学习性」之间取了一个经验最优点。
任意两帧之间的稠密运动场 T 是一个二维向量场,直接学它需要海量配对数据。FOMM 的技巧是:在若干关键点 pk 的邻域内,把这个光滑的运动场用一阶泰勒展开近似:
TX←R(p)≈TX←R(pk)+Jk(p−pk),Jk=∂p∂TX←R(p)p=pk其中 X 是源图 S 或驱动帧 D,R 是一个抽象的参考帧,pk 是第 k 个关键点,Jk 是运动函数在该点的 2×2 雅可比矩阵。一阶展开把运动场拆成两部分:关键点本身的位移(零阶项)与每个关键点处的局部线性变换(一阶项,即局部仿射变换的四个导数参数)。于是「一帧的运动」被压缩成 K 组(位置 + 2×2 仿射矩阵)的少量数字,而不是一整张光流图。
这个表示的三个好处:
- 紧凑且可迁移:运动只由几十个关键点定义,与具体是谁无关,因此可以「借」给任何源图。
- 能表达非刚性变形:只位移关键点只能表达「平移式」运动;加上局部仿射(旋转、缩放、剪切),一张脸可以在每个关键点附近做不同的小变形,拼起来就能近似表情变化。
- 无需标注:关键点是无监督学出来的,训练目标只是「重建驱动帧」。网络没有任何关键点位置的真实标签,靠重建损失自己去发现「哪些点该跟踪眼角、嘴角」。
稠密运动网络:把稀疏的关键点位移与雅可比放到卷积网格上(以源图关键点位置为基准,编码每个关键点在驱动帧中的新位置与局部变形),交给稠密运动网络预测整张图的光流与遮挡图。这里的关键在于可变形性(relative motion):FOMM 区分「绝对运动」与「相对运动」。如果源图与驱动帧是同一人,直接预测从驱动帧到源图的光流即可;如果换了一个人,则需要先做一次粗略对齐(比如把源图关键点与驱动帧关键点拟合一次相似变换),再预测剩余的运动。论文在 VoxCeleb 上使用相对运动,在 Tai-Chi-HD 等数据集上使用绝对运动,这个开关决定了模型能不能跨身份工作。
遮挡图为什么必须存在:换脸场景里,驱动帧的嘴张开时,源图对应位置是闭合的嘴唇,光流会把它「拉」出空洞;驱动帧的手挡在脸前时,源图没有手。生成器的输入是「扭曲后的源图特征 + 遮挡图」,遮挡图告诉生成器「哪些位置应该用源图的旧信息、哪些位置应该重新合成」。没有它,张嘴时嘴内会出现拉丝,遮挡物处会出现重影。
推理账:FOMM 的推理链路是——逐帧检测驱动视频的关键点与雅可比、逐帧跑稠密运动网络、逐帧扭曲与生成。所有模块都是前馈的卷积网络,不做扩散采样,因此延迟很低,可以接近实时。代价是它本质上是一个二维的「图像扭曲 + 局部修补」:头部大角度转动、侧面轮廓发生变化时,二维光流无法描述出「原来被遮住的那半边脸」,生成结果会显得扁、脖子拉伸、背景跟着变形。这也是后续路线(3D 关键点、隐式关键点、生成式肖像动画)要解决的问题。
从 FOMM 到 LivePortrait:同一条路线的工程化升级。快手团队的 LivePortrait(Guo 等,2024 年,arXiv:2407.03168)把 FOMM 的「关键点 + 扭曲 + 生成」骨架推进到可用的水平,升级点集中在三处:把二维关键点换成三维隐式关键点,并单独估计头部姿态与表情变形;用一张更强大的外观特征体(3D appearance feature volume)配合 SPADE 解码器做渲染;在基础模型之外再训练一个拼接模块与两个重定向模块(眼睛开合、嘴部开合),这三个模块都是小型 MLP,在推理时几乎不增加成本。论文报告在 RTX 4090 上单帧推理约 12.8 ms。

上图是 LivePortrait 论文中第一阶段(基础模型)的流程图。源图经外观提取器得到外观特征体、经运动提取器(同时预测规范隐式关键点、头部姿态与表情变形),驱动视频经运动提取得到驱动关键点;两边的关键点做运动变换后,由扭曲模块生成扭曲场,SPADE 解码器据「扭曲后的外观特征体」渲染动画帧。图中还标出了这一阶段参与训练的几个模块,以及对应的重建、关键点与级联损失项。这一阶段从零训练,第二阶段再把外观与运动提取器冻结,单独训练拼接与重定向模块。
LivePortrait 的价值在于它说明了这条路线在 2024 年的真实工程形态:它没有用扩散模型,却能在画质和时间一致性上与一些扩散方法竞争,原因正是「在紧凑的显式运动表示上做变形,再用一个强解码器补细节」。对于实时视频通话、虚拟主播这类需要逐帧低延迟的场景,这条路线仍是最经济的选择。站内关于人体图像动画的文章也讨论了同一条思路在全身场景下的延伸,可参考 人体图像动画架构拆解:一张照片如何跟着骨架动起来——ReferenceNet、姿态引导与时序运动模块;而音频驱动的说话头走的是「音频替代驱动视频」的另一条变体,见 音频驱动的说话头基础架构:从 Wav2Lip 的像素口型同步到潜空间扩散数字人。
这条路线与换脸的接口:表情驱动的输出是「源图的人做驱动视频的表情」。把它放进换脸流水线,顺序通常是先换脸、再驱动:先用 SimSwap 一类模型把驱动视频里每一帧的脸换成源身份,再做时序上的平滑;或者先用 LivePortrait 把源图「喂」给驱动视频,再做一次换脸。两种顺序的误差会叠加——先换脸再驱动,驱动时二维变形会再次放大换脸的身份漂移;先驱动再换脸,换脸模块需要逐帧重新提取身份,对时序一致性更敏感。理解这条顺序账,是评估任何「一键视频换脸」产品的第一步。
路线三:把修复当成「查码」——CodeFormer 的离散先验
换脸与驱动的结果,常常会经过一步「人脸修复」。原因很实际:换脸模型输出的脸贴片分辨率有限、纹理偏软,放大贴回原图后与周围高分辨率背景的清晰度差异明显;视频换脸在压缩编码后还会出现块状伪影。修复模块的作用是在不改变身份的前提下,把脸部的细节补回来。
盲人脸修复(blind face restoration)的难点在于:输入可能经历了模糊、低分辨率、噪声、压缩、色偏,甚至强 JPEG 压缩块;而且修复网络不知道输入经历了哪种退化。连续生成先验(GAN 先验、扩散先验)的解法是让网络学习「从低质到高质」的映射,但这条映射是一对多的:一张模糊的脸可以补成许多张不同的清晰脸,网络容易把「猜」出来的五官捏成一张平均脸,丢掉身份。
CodeFormer(Zhou 等,2022 年发表于 NeurIPS,arXiv:2206.11253)把这个问题重新表述成离散码预测:不再直接回归像素,而是先预测「这张脸由码本中的哪些码字组成」。

上图是 CodeFormer 的网络结构图。(a) 是连续特征空间的变体:编码器输出连续特征,直接进解码器;(b) 是本文的核心——编码器输出特征后,通过最近邻匹配把每一层特征量化为码本 C 中的码字,再交给 Transformer 做全局码预测,最后由解码器重建;左下角标注的可控特征变换(CFT)模块用可调系数控制低质特征对解码器的影响。
码本的构造:先用高质量人脸训练一个向量量化自编码器(VQ-VAE 式),得到一个很小的离散代理空间——论文里码本规模约为 1024 个码字。每个码字可以理解为一种「五官的视觉原子」:某种形状的眼角、某种肤质的高光、某种唇形。一张 512×512 的人脸,在这个代理空间里被表示成几十个码字索引。
为什么离散化能降低不确定性:连续空间里,低质输入的特征与高质目标的特征之间是无数条可能的连线,网络只能取平均,结果就是「平均脸」。离散空间里,输出只能落在有限个码字组合上,每个组合都是训练时真实出现过的高质人脸结构。这把一对多的回归变成了一个「在有限集合里做选择」的分类问题,网络的任务从「猜像素」变成「猜码字」,身份被压进了码字选择里。
Transformer 做全局码预测:CodeFormer 的预测网络不是卷积,而是 Transformer。理由是码预测需要全局上下文:一只眼睛的形状要和另一只眼睛对称,鼻梁与嘴唇的距离要和脸型匹配。卷积的局部感受野在严重退化下容易做出「局部合理、整体违和」的选择,Transformer 的自注意力天生能看全脸。
可控特征变换(CFT):修复与「保真」之间天然有取舍——码本先验越强,越能抵抗退化,但也越容易把输入中真实存在的细节(痣、皱纹、独特的脸型)抹平,变成一张「更像码本标准脸」的结果。CFT 模块的做法是把低质编码器的特征通过一层空间特征变换(预测仿射参数 α、β)加到解码器特征上:
F^d=Fd+(α⊙Fd+β)×w,α,β=Pθ(c(Fd,Fe))其中 Fd 是解码器特征,Fe 是低质编码器(LQ encoder)特征,c 是拼接,Pθ 是一组卷积,w∈[0,1] 是推理时可调的旋钮。w 越大,输入信息越多地流进解码器,结果越「像原图」但越可能带着退化残留;w 越小,越依赖码本先验,结果越干净但越可能失真。论文把 w 称为质量与保真度的取舍系数。
放进换脸流水线的位置与账:CodeFormer 通常放在换脸之后、融合之前。它只作用在人脸裁剪区(512×512),单帧耗时远小于扩散采样,通常是几十毫秒量级,可以逐帧跑。但要注意两点:第一,它对已经换过的脸做修复,修复网络本身含有「标准脸」先验,如果源身份与码本里常见脸型差别大,w 设得太低会把身份拉向平均;第二,视频场景里逐帧独立修复会引入时序闪烁,实务上会用 w 偏高的保守设置或加时序约束。
与 CodeFormer 同期还有一条「连续先验」的路线:GFPGAN(Wang 等,CVPR 2021,arXiv:2101.04061)不查码本,而是把一个预训练的 StyleGAN2 生成器当作「人脸先验」,用一个退化去除模块把低质特征映射到 StyleGAN2 的潜空间,再由生成器重建。它的好处是生成器本身已经会画高质人脸,细节丰富;代价是潜空间是连续的,退化严重时同样容易收敛到一张「平均脸」。CodeFormer 的离散码本本质上是把这条连续先验离散化,用有限集合换确定性与鲁棒性。
CodeFormer 这条「查码」思路属于图像修复的一个更广的分支,站内关于超分辨率与盲修复的文章把它放在同一条「先验—退化」的坐标系里做过对照,可参考 图像超分基础:从退化建模到 Real-ESRGAN 的盲超分架构。
路线四:在扩散模型里注入身份——IP-Adapter 与 InstantID
换脸模型(编码器—解码器)的回答是「身份当成统计量注入单次前向」。到了扩散模型时代,问题变成了:如何在不重新训练整个扩散模型的前提下,把一个身份(或一张参考图)注入去噪过程。
起点:文本不够用
文生图扩散模型的条件只有文本。文本是离散、语义层级、粗粒度的——「一位穿西装的女士」这句话里,没有任何像素级的身份信息。想让模型画出「指定的这个人」,最初的做法是 DreamBooth 一类的个性化微调:用这个人的 3 到 5 张照片微调整个扩散模型,让它把这个身份「记」成一个新的 token。这条路画质高,但每个新身份都要重新训练一次,成本高、不能实时上架。
另一条路是图像提示适配器:不训练扩散模型本身,只训练一个小模块,让它把参考图编码成若干「图像 token」,注入到已冻结的扩散模型的交叉注意力中。IP-Adapter(Ye 等,2023 年,arXiv:2308.06721)是这条路线的基础实现。
IP-Adapter:解耦交叉注意力

上图是 IP-Adapter 论文的 Figure 2。红色是新增、需要训练的模块,蓝色是冻结的原模型。参考图经图像编码器(论文用冻结的 CLIP 图像编码器)得到特征,再经一个投影网络变成「图像 token」;去噪 U-Net 中的交叉注意力被改造成双路:一路维持原有的「文本 token 作为 K、V」,另一路新增「图像 token 作为 K、V」,两路的输出加权相加。下方的文字提示仍然经文本编码器走原有路径。
标准交叉注意力的形式:扩散 U-Net 中的交叉注意力把去噪特征 z 当作 query,把条件 token c 当作 key 与 value:
Attn(z,c)=Softmax(d(zWq)(cWk)⊤)(cWv)IP-Adapter 的改动:新增一套图像侧的投影与注意力,并引入一个可调系数 λ:
z′=Attn(z,ctext)+λ⋅Attn(z,cimg)其中 ctext 与 cimg 分别是文本 token 与图像 token,λ 控制参考图的「力度」。为什么是加法而不是简单拼接进同一个注意力? 如果直接把文本 token 与图像 token 拼成一个长序列做一次注意力,图像 token 数量(16 个,来自一个 16 个可学习查询的轻量 Transformer 对整个 CLIP 网格特征的压缩)相对文本 token(77 个)太少,softmax 的归一化会让它们被文本淹没;而且两类 token 的统计分布不同,拼在一起训练时容易互相干扰。分开做注意力、再线性加权,让文本与图像各自拥有独立的 K、V 投影权重,互不争抢归一化,这就是「解耦」的含义。
规模与效果:IP-Adapter 只新增约 2200 万参数(论文明确提到 22M),其余全部冻结。训练只需要图像—文本配对数据,不需要身份标签。它与 LoRA、ControlNet 这类结构条件适配器可以叠加使用:参考图给「长什么样」,结构条件给「摆在哪」。站内关于可控生成的系列文章详细拆解过 ControlNet 这一类结构条件适配器的训练与推理账,可参考 扩散模型从零讲起(十五):可控生成——ControlNet、T2I-Adapter 与 IP-Adapter 如何把结构条件注入去噪网络。
IP-Adapter 做人脸身份的短板
IP-Adapter 是通用的图像提示适配器,它能迁移「风格、整体外观、大致长相」,但对高保真身份不够用,原因有三:
- 特征是全局的。CLIP 图像编码器输出的是一张图的全局嵌入,它在训练时对齐的是「图文语义」,对人脸的细微差别(张三与李四)分辨力远不如 ArcFace。
- 没有空间结构约束。图像 token 只是语义提示,模型不知道「眼睛应该在哪个位置、脸型应该是什么宽度」,所以生成出的脸「像这个人」但不总是「就是这个人的脸型」。
- 身份信息被压缩得太狠。16 个图像 token、且来自 CLIP 这个「图文语义」编码器,要装下整张参考图的所有信息,对人脸这种细节密集的目标不现实。工业上把可学习查询的数量加到几十个能部分缓解,但编码器本身的身份判别力上限改不了。
InstantID:两张脸走两条路
InstantID(Wang 等,2024 年,arXiv:2401.07519)针对上述短板做了两处核心改动:

上图是 InstantID 论文的推理管线图。参考图先做人脸检测、裁剪与关键点对齐;一条路经人脸编码器(人脸嵌入)进入图像适配器,生成图像 token 参与交叉注意力;另一条路把对齐后的人脸图与关键点图一起送入 IdentityNet(以 ControlNet 方式接入的侧网络),由它提供身份与结构约束;文本提示照常进入文本编码器。红色模块可训练,蓝色模块冻结。
第一处:身份走人脸识别网络,不走 CLIP。InstantID 的 Image Adapter 用一张被身份识别网络训练过的脸作为身份编码器,输出的身份嵌入在语义强度上远高于 CLIP 嵌入。它随后被投影成若干图像 token,通过解耦交叉注意力(与 IP-Adapter 同一机制)加到 U-Net 上。这一路保证了「脸像」。
第二处:IdentityNet 提供「弱空间」约束。如果只用第一路,结果「像这个人」但脸型与五官位置常常跑偏,尤其在侧脸、特写、复杂姿态下。IdentityNet 的做法是把「对齐后的参考人脸图」和它的「关键点图」一起送进一个以 ControlNet 方式挂上去的侧网络,让它去噪 U-Net 的每一层都收到逐空间位置的结构信号。论文把这一路称为「强语义 + 弱空间」条件:强语义指身份编码给出了很强的身份向量,弱空间指关键点图只约束五官与轮廓的位置,不强制每个像素的纹理。这样文字风格可以自由发挥(可以画成水墨、赛博、卡通),而脸的位置与形状不至于跑。
两条路的分工总结:
| 通路 | 输入 | 负责什么 | 不负责什么 |
|---|---|---|---|
| Image Adapter(解耦交叉注意力) | 参考人脸图 → 身份嵌入 → 图像 token | 「脸像这个人」,语义级身份 | 五官位置、脸型几何 |
| IdentityNet(ControlNet 式侧网络) | 参考人脸图 + 关键点图 | 「五官摆在哪」,空间结构 | 风格、场景、文字描述的内容 |
推理链路与账:一条完整的 InstantID 推理是——参考图预处理(检测、对齐、关键点、提取身份嵌入)→ 准备关键点图 → 文本编码(含 CFG 的空文本分支)→ 对去噪主干做多步采样,每一步都同时跑 U-Net 与 IdentityNet 两个分支。账上有三处增量:IdentityNet 让每一步的前向计算大概翻倍;身份嵌入的提取是每个请求一次的小网络(可缓存,同一参考图可复用);CFG 本身又让每步的文本条件分支翻倍。于是「一次生成」的总计算量与同分辨率的普通文生图相比,大约是后者数倍。工程优化通常落在这三处:对参考图预处理与身份嵌入结果按参考图哈希做缓存;在少步蒸馏模型(如 SDXL Turbo 一类的少步采样器)上使用,把步数从几十降到几步;或者把 IdentityNet 的层数减下来做轻量化,用保真度的小幅下降换延迟。
更深一层:IdentityNet 到底约束了什么
把 IdentityNet 看成「又一个 ControlNet」会漏掉它的设计要点。普通的 ControlNet(以边缘、深度、姿态这类图作为条件)通常是强空间约束:边缘图规定了每条线在哪个像素上,生成结果必须贴着边缘画,风格只能在边缘内部变化。那种约束用来做「按线稿上色」正好,用来做人像会出问题——线稿太死,文字描述的姿势(「正在跑步,身体前倾」)就没法实现。
IdentityNet 的「弱」体现在它输入的关键点图只包含五个人脸基准点(双眼、鼻尖、嘴角),而不是完整的五官轮廓线。这五个点给出了「脸在哪、朝哪个方向、多大」的粗略几何,去噪网络据此决定五官的大致布局,但具体的眉形、脸宽、下颌线留给 U-Net 与文本条件去画。论文把这个取舍叫「弱空间条件」,它的直接好处是身份保持与姿态自由度兼得:文字提示换成完全不同的姿势与场景,脸仍然像参考图,而身体按文字描述去画。
这也是 InstantID 与「直接拿参考图当 inpainting 输入」的本质区别:后者的条件强度接近 1,生成结果几乎原样复刻参考图的姿态与构图;IdentityNet 把条件强度压在关键点上,只在几何层面给一个锚,把风格空间留出来。
与换脸的关系:InstantID 不改变「目标图」——它是从零生成一张新图。所以它更准确的定位是「身份保持生成」。把它与换脸串起来,可以得到「把人物 A 的身份放到任意场景、任意风格、任意动作」的效果。但要注意二者的失效模式不同:SimSwap 一类换脸在大角度侧脸上会撕裂,InstantID 一类身份保持生成在大姿态、多人场景下会出现「脸位置对不对」的问题。选型时要先问清楚:你是要改一张已有的图,还是要从零画一张新的图。前者走换脸路线,后者走身份保持生成路线。
把五条路线串成一条流水线
到这里,五个架构各自解决了一个工位。工业界的人脸编辑产品把它们串起来,典型顺序是:
1输入:源图 I_S(提供身份)、目标图/驱动视频 I_T(提供属性与运动)2 1. 检测 + 对齐(目标与源) → 对齐后的人脸贴片 + 关键点3 2. 人脸解析(目标) → 部位掩码,供最后融合4 3. 身份提取(源) → ArcFace 身份嵌入5 4. 编辑工位(按任务选择其一或多重叠加)6 a) 换脸:编码器 → ID 注入 → 解码器,输出换过身份的人脸贴片7 b) 表情驱动:关键点 + 仿射 → 稠密光流 + 遮挡图 → 扭曲 → 生成8 c) 身份保持生成:身份嵌入 + IdentityNet → 扩散采样 → 新图9 5. 修复:CodeFormer 一类模块在 512×512 人脸区补细节10 6. 融合:解析掩码羽化 + 颜色匹配,贴回原图11 7. 时序后处理(视频):逐帧结果上加时序平滑/光流对齐,压闪烁12输出:I_out这个顺序里有几处容易被忽略的「账」:
- 步骤 1 的对齐质量决定了上界。换脸模型训练时用的是「按五点对齐」的裁剪,推理时如果对齐略有偏差,换脸结果的脸型就会与目标图错位,后面再怎么融合也救不回来。视频场景里逐帧对齐还会抖动,通常需要对关键点做时序平滑。
- 步骤 3 可以按「源身份」缓存。同一个身份的换脸请求可能非常多,身份嵌入只与源图有关,把它按源图哈希缓存起来,能省掉每帧一次识别网络的前向。
- 步骤 4a 与 4b 存在顺序依赖。视频换脸 + 驱动的组合里,先换谁后驱动,误差的叠加方式不同,前文已经讨论过。
- 步骤 5 会改变身份。修复模块带「标准脸」先验,在换脸之后跑,会把身份往平均值拉一点。把它放在换脸之前(对原始目标图修复)效果不同:目标是补清晰度,而不是补换后的脸。
- 步骤 6 是肉眼最容易看出破绽的地方。边缘的色差、双层下巴、发丝断线,几乎都出在融合,而不是生成器。
把这七步看成一条推理服务链路,就得到了一个有用的成本画像:
| 步骤 | 典型模块 | 单次计算量 | 可缓存 | 视频逐帧 |
|---|---|---|---|---|
| 检测/对齐 | 检测器 + 相似变换(或 3DMM 回归) | 极小 | 否(每帧不同) | 每帧 |
| 表情驱动 | 关键点 + 仿射 → 光流 + 遮挡 → 生成 | 小 | 否 | 每帧 |
| 解析 | BiSeNet 一类轻分割 | 小 | 否 | 每帧或隔帧 |
| 身份提取 | ArcFace | 小 | 是(按源图) | 一次 |
| 换脸生成 | 编码器 + ID 注入 + 解码 | 中 | 否 | 每帧或隔帧 |
| 身份保持生成 | 扩散 + IdentityNet + CFG | 大(步数 × 主干) | 否 | 通常离线 |
| 修复 | CodeFormer | 中 | 否 | 每帧或关键帧 |
| 融合 | 解析掩码 + 颜色匹配 | 极小 | 否 | 每帧 |
这张表解释了一个常见现象:实时视频换脸的系统瓶颈往往不在换脸网络本身,而在逐帧的检测、对齐、解析与融合。很多工程优化是把解析与关键点做成隔帧计算并对齐、把融合放到 GPU 上做成一次性核函数、把换脸网络批处理成一次前向跑多帧再错位对齐输出。
评测:怎么量「换得像」与「守得住」
人脸编辑的评测指标不多,但每一个都有明确的用途与局限。
- 身份相似度:用 ArcFace 计算换脸结果与源图的嵌入余弦相似度,经验上乘以一个缩放系数报成百分比。它衡量「像不像源图的人」。局限是它只关心识别网络觉得像不像,不关心人眼觉得自不自然。
- 属性保持:通常在「表情、姿态、光照、肤色」这几项上人工或模型评分,或者用姿态与表情估计器比较换脸前后的一致性。它衡量「目标图的属性有没有被破坏」。
- 重建/循环一致性:把结果再用同一套架构换回原身份,比较与原始目标图的差异。它是训练目标的镜像,用于发现架构层面的系统性偏差。
- 人脸修复的保真度与质量:保真度常用身份相似度或 L1 衡量,质量常用 FID、LPIPS 或人工偏好评分。这两个维度在 CFT 的 w 旋钮上直接对立。
这些指标的共同问题是它们都不能测「肉眼是否自然」。纹理接缝、时序闪烁、边缘错位,人工评审最可靠,这也是视频换脸产品普遍要人工抽检的原因。
时间一致性与视频
静态图换脸的所有问题,在视频场景里都会被放大:
- 身份闪烁:逐帧独立提取源图身份没有闪烁(源图固定),但逐帧独立做的对齐与生成会让「脸型」每帧轻微变化。
- 边界抖动:解析掩码逐帧独立预测,边缘每帧不同,融合后边界处的颜色会跳动。
- 运动撕裂:大角度转头时二维换脸模型的侧脸重建能力不足,脸型崩坏在特定角度集中出现。
工程上的主流解法有三类:时序平滑(对关键点、对齐矩阵做低通滤波;源身份嵌入天然固定;对输出帧做时域混合);帧间一致性约束(用光流把相邻帧的生成结果对齐后再融合,或者把前几帧的结果作为条件);在视频层面训练(训练时输入连续帧,让模型学会输出时序一致的生成)。LivePortrait 把训练数据扩展到约 6900 万帧高质量的肖像帧、采用图像与视频混合的训练策略,正是为了让时序一致性成为模型自身能力,而不是后处理补丁。
站内关于视频生成中的时序一致性的讨论更完整,可参考扩散模型系列中的视频部分;关于图像编辑中「不改结构、只换细节」的反演与编辑接口,可参考 扩散模型从零讲起(十四):图像编辑与反演——SDEdit、DDIM 反演与整流流编辑,如何在「不改结构」的前提下换掉细节。
身份表示放在哪一层,决定了一个系统能做到什么
回看整篇文章,可以用一个统一的问题来收束所有取舍:「身份」这一信息,被表示在哪一层、在哪里注入。这直接决定了系统的能力边界:
- 身份在像素层(DeepFakes 系端到端):网络直接学「源贴片 → 换了人的贴片」。它对每个人都需要足量数据,无法泛化到没见过的身份,而且身份与属性在像素里深度纠缠,无法解耦。
- 身份在统计层(SimSwap 的 AdaIN):身份被压缩成特征通道的均值与方差,注入代价小,单次前向实时。能力边界是:只能表达「统计意义上」的身份差异,对精细五官几何不敏感,侧脸退化快。
- 身份在嵌入层(ArcFace 512 维 + 交叉注意力):身份被表示成一个独立的识别向量,与生成器解耦,可插拔、可缓存、可复用。能力边界是:向量本身不含空间信息,生成器必须自己补出几何,于是要么加 IdentityNet(InstantID),要么接受几何漂移。
- 身份在运动表示层(FOMM/LivePortrait 的关键点):这里「身份」是外观特征体,运动是另外一层。身份与运动天然解耦,代价是外观只来自源图的单次前向,画质上限受限。
- 身份在离散码层(CodeFormer):这里的「身份」不显式存在,而是隐含在码字选择里。它的好处是「不会凭空编造结构」,坏处是会把少见的身份特征归拢到码本里最像的常见结构上。
一个更具体的选择困难:如果要做「一键把写真里的人换成自己」,应该走哪条路?对静态图,换脸路线(SimSwap 系或扩散式换脸)最直接;对风格化、场景化的新图,身份保持生成(InstantID)更合适;对视频,表情驱动 + 换脸 + 时序平滑的组合是主流,且必须有修复与融合模块兜底。没有一条路能在所有任务上同时达到实时、高保真、强可控。
更深的取舍:为什么很多产品选择「多条路叠加」
单条路线各有能力边界,产品往往叠加:
- 换脸 + 修复是标配。换脸生成的低频脸 + 修复模块补的高频细节,弥补了单次前向的清晰度不足。
- 换脸 + 解析融合是标配。没有解析掩码,边缘一定破绽明显。
- 身份保持生成 + 换脸出现在「先画一个新场景中的人,再把脸换得更像」的场合。它用两条路互补:一条管「画得对」,一条管「像得像」。
- 表情驱动 + 换脸出现在所有视频换脸产品里。驱动给出运动,换脸给出身份。
叠加的代价是延迟与误差累积。每多一层,前向次数就增加一次,误差传下去一次。工程上常做的,是把「能缓存的缓存、能隔帧的隔帧、能批量的批量」:视频里每 N 帧做一次完整检测与解析,其余帧靠光流传播;身份嵌入只算一次;换脸与修复合并成一次前向里跑多个网络分支。
小结
人脸编辑的五个基础架构,可以从同一条线索串起来:身份被抽取出来,再被注入回去。
- SimSwap 用 AdaIN 把 ArcFace 身份向量当成逐通道统计量注入编码器—解码器,单次前向、实时、易部署,但缺三维结构、融合靠外挂。
- FOMM / LivePortrait 把运动表示成稀疏关键点加局部仿射,用稠密光流与遮挡图驱动,自监督、可迁移、延迟低,解决的是「表情怎么动」。
- CodeFormer 把修复表述成对码本的码字预测,用离散先验压掉模糊输入的不确定性,CFT 旋钮在保真与干净之间取舍。
- IP-Adapter 用解耦交叉注意力把图像提示注入冻结的扩散模型,约 22M 参数即插即用,但身份保真度有限。
- InstantID 把身份编码交给识别网络、把空间结构交给 IdentityNet,两条路分工,用扩散采样换高保真身份保持生成。
这五个架构的取舍都落在同一个点上:身份信息由谁产生、以什么形态存在、在推理的哪一步被注入、注入时以多大力度。读懂这一点,才能看懂工业人脸编辑系统为什么是这么一个「预处理—编辑—修复—融合」的七步流水线,也才能看懂为什么在同一个任务上,不同产品用完全不同的模型组合,却能达到相似的肉眼效果。
参考资料
- SimSwap: An Efficient Framework For High Fidelity Face Swapping(Chen 等,ACM MM 2020,arXiv:2106.06340)
- First Order Motion Model for Image Animation(Siarohin 等,NeurIPS 2020,arXiv:2003.00196)
- LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control(Guo 等,2024,arXiv:2407.03168)
- Towards Robust Blind Face Restoration with Codebook Lookup Transformer(Zhou 等,NeurIPS 2022,arXiv:2206.11253)
- IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models(Ye 等,2023,arXiv:2308.06721)
- InstantID: Zero-shot Identity-Preserving Generation in Seconds(Wang 等,2024,arXiv:2401.07519)
- ArcFace: Additive Angular Margin Loss for Deep Face Recognition(Deng 等,CVPR 2019,arXiv:1801.07698)
- Towards Real-World Blind Face Restoration with Generative Facial Prior(Wang 等,CVPR 2021,arXiv:2101.04061)
- SimSwap 官方实现(neuralchen/SimSwap)
- LivePortrait 官方实现(KwaiVGI/LivePortrait)
- CodeFormer 官方实现(sczhou/CodeFormer)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



