人体图像动画架构拆解:一张照片如何跟着骨架动起来——ReferenceNet、姿态引导与时序运动模块

12420 字
62 分钟
人体图像动画架构拆解:一张照片如何跟着骨架动起来——ReferenceNet、姿态引导与时序运动模块

人体图像动画(human image animation)要解决的问题,用一句话就能说清:给一张人物照片和一段驱动姿态序列,生成一段视频,让照片里的人按这段姿态动起来,同时保持长相、衣服、体型不变。它属于多模态生成里「图像 + 姿态序列 → 视频」这一类,和文生图、文生视频、语音生成并列,是数字人、虚拟试衣、短视频特效、影视预演等工业场景的基础能力。

真正难的地方不在「动」,而在「三者同时成立」:身份要保真,姿态要精确对齐,帧与帧之间要稳定。任何一条不满足,输出都会立刻变得不可用——脸变了、手穿模了、画面开始闪烁。过去几年这条路线上的架构演进,几乎每一处设计都在补这三个约束中的某一个。

这篇不追求覆盖这条路线的全部工作,而是把「基础架构」拆清楚:一张参考图如何作为一个持续生效的条件通路进入扩散模型,一段姿态序列如何以空间对齐的形式进入去噪网络,同一张参考图如何在几十帧里去噪时保持同一个身份,以及长视频为什么必须靠分段加融合。后面用 AnimateAnyone、MagicAnimate、Champ、MimicMotion、Wan-Animate、StableAnimator 六个有代表性的系统,逐一对照它们的条件通路设计。

问题定义:两条输入流与三个约束

形式化写下来,问题很简单。给定参考图 IrefI_{\text{ref}} 与一段驱动信号 p1:N=[p1,…,pN]\boldsymbol{p}^{1:N}=[\boldsymbol{p}_1,\dots,\boldsymbol{p}_N](NN 为帧数),生成视频 I1:NI^{1:N},要求它在外观上来自 IrefI_{\text{ref}},在姿态上与 pi\boldsymbol{p}_i 对齐,且帧与帧之间连续。驱动信号可以是稀疏的身体关键点骨架、稠密的 DensePose 体表坐标、深度图与法线图,也可以是一段被 3D 参数化人体模型解析出来的姿态参数序列。

这里把输入分成两条性质完全不同的流,这个区分是理解后面所有架构的前提:

  • 参考流是静态的。整段视频只有一张参考图,它在所有帧的条件完全相同。因此它可以被「预先算一次」,特征缓存在显存里,每个去噪步里被重复查询。
  • 驱动流是逐帧的。第 ii 帧有它自己的姿态,和相邻帧的姿态没有任何数值共享。它必须与第 ii 帧的空间位置严格对齐——骨架画在哪里,人就要出现在哪里。

这两条流的性质差异,决定了它们几乎不可能用同一种机制注入网络。驱动流天然适合「加在噪声上」或「控制网络」,因为它和噪声潜变量在空间上逐像素对得上;参考流不适合加法,因为参考图和目标帧在空间上只是「相关」而不是「对齐」——参考图里人站在画面中央,目标帧里人可能已经转身、移动、被遮挡。加法式注入会把参考图的像素布局硬塞进目标帧,得到的是错位的重影。这正是后来所有系统在参考流上都要另造一套机制的根源。

除两条输入流外,还有三个必须同时成立的约束,任何一个不满足,输出立刻不可用:

  1. 身份保真(identity preservation)。脸、发型、衣服纹理、配饰、体型必须像参考图。扩散模型被训练来「生成合理的图」,而不是「复现这张参考图」,如果条件通路给的信息太弱,它就会自己补一个「合理的脸」——五官风格相似但明显不是同一个人。
  2. 姿态对齐(pose alignment)。手、脚、转身这些大幅度动作处最容易失败。姿态信号本身也可能是错的:遮挡、运动模糊会让姿态估计器给出低置信度的关键点,模型如果把错误的骨架当真,就生成扭曲的肢体。
  3. 时序一致(temporal consistency)。每帧单独生成再堆叠,会出现颜色闪烁、衣服纹理抖动、背景漂移。帧数一多,第一帧和最后一帧的人可能已经「换了一张脸」。

三个约束之间还有冲突。把参考图信息灌得越多,身份越稳,但模型越倾向于「复刻参考图里的姿态」,从而不跟着骨架动;加大时序层的权重,帧间越平滑,但每帧细节越模糊。后面的架构演进,本质上就是在设计空间里寻找一个更合算的平衡点。

早期路线:从姿态迁移到对抗生成

在扩散模型进入这条领域之前,主流解法是基于形变(warping)的方法。以 First Order Motion Model(FOMM,Siarohin 等,2020 年)为代表:用一个运动估计网络从驱动视频里估计出局部仿射变换,用这些变换把参考图扭曲成目标姿态,再用生成器修补扭曲后出现的空洞和遮挡区域。

这条路线的结构问题很清楚:扭曲只能搬运参考图里「已经存在」的像素。目标姿态里需要看到背面,或者手挡住了原本可见的部位,参考图里没有这些像素,生成器只能凭空推断,这一步质量很低。GAN 的训练目标又倾向于生成「看起来合理的纹理」,跨身份泛化时尤为明显——参考图与驱动视频里的人物体型差得多时,扭曲场根本对不上。

扩散模型提供了更强的先验。最早把扩散模型用在这条领域上的 DisCo(Wang 等,2023 年)用两个独立分支分别控制人物与背景;DreamPose 用 CLIP 与 VAE 编码参考图,再通过适配器注入。这些工作确立了「参考图 + 姿态 + 时序」这个基本框架,但也暴露出早期方案的共性弱点:

  • 参考图普遍用 CLIP 图像编码器变成语义特征,再到交叉注意力里查询。CLIP 是为图文匹配训练的,它的输出是「这张图画的是什么」的语义摘要,对衣服的纹理、发丝的细节、配饰的形状几乎没有保留。用它做外观条件,结果能保留「风格」但保不住「细节」,跨身份时经常变成「一个长得像但不是这个人」的人。
  • 时序建模普遍缺失或很弱。多数方法逐帧处理视频再沿时间维堆叠,帧间一致性全靠生成器的侥幸。抖动、闪烁、衣服颜色漂移是普遍现象。

这两个弱点,正好对应后面两类核心设计:更密的外观条件通路(ReferenceNet 一类),以及专门的时序层(AnimateDiff 一类)。扩散模型本身的结构与采样原理可参考 扩散模型从零讲起(一):从 DDPM 的加噪/去噪到 DiT 与 Flow Matching。

架构总览:三条条件通路

把这批系统的结构放在一起看,几乎所有扩散时代的实现都由同样的三个部件组成,差别只在每个部件怎么做:

  • 外观通路:把参考图变成一个持续生效的条件,在去噪的每一步提供细节级的外观约束。实现方式有:CLIP 交叉注意力(语义级,弱)、ReferenceNet 空间注意力(细节级,强)、VAE 潜变量沿通道拼接(像素级潜编码)、专门的参考重投影注意力。
  • 姿态通路:把驱动姿态变成一个空间对齐的条件,和噪声潜变量逐像素对应。实现方式有:轻量姿势引导器加到噪声上、ControlNet、PoseNet、把姿态潜编码 patchify 后加到噪声 patch 上。
  • 时序通路:让同一时刻的去噪网络能看到相邻帧的信息。实现方式有:AnimateDiff 式的时间注意力层、Mamba 状态空间层、直接采用预训练好的视频基础模型(SVD、Wan)以自带时序先验。

三条通路的设计是相互耦合的:选了哪条、在哪一层注入、注入强度多大,直接决定另外两条该怎么设计。下面的每一节都是某一组耦合选择的具体展开。

AnimateAnyone:ReferenceNet 与姿态引导器

AnimateAnyone(Hu 等,阿里巴巴,2023 年 11 月发布于 arXiv,2024 年 6 月更新到 v3)是这批系统里结构最干净、被后续工作参照最多的一篇。它的骨架是稳定扩散的 UNet,核心贡献是两个部件:ReferenceNet 与 姿态引导器(Pose Guider),再加上一个 AnimateDiff 式的时间层。

AnimateAnyone 论文图 2:ReferenceNet、姿态引导器与去噪 UNet 的整体结构

上图是论文的 Figure 2。左侧输入是参考图、姿态序列与多帧噪声;中间是三层结构:ReferenceNet 从参考图抽特征,姿态引导器把姿态编码后加到噪声上,去噪 UNet 在每一层通过 Spatial-Attention、Cross-Attention 与 Temporal-Attention 完成去噪。下面按部件拆开。

ReferenceNet:为什么不用 ControlNet 接参考图

ControlNet 的思路是复制一份编码器、从零初始化卷积把新条件加进主干。它成立的前提是控制图与目标图空间对齐——深度图、边缘图、骨架图都是画在目标帧坐标上的。参考图和目标帧之间没有这种对齐关系,直接套 ControlNet 会失败。论文在消融里专门验证了这一点(见后文)。

ReferenceNet 的做法是:复制一个与去噪 UNet 结构完全相同、但不含时间层的网络,加载同一份 SD 预训练权重,用它对参考图做一次前向,得到每个分辨率层级的特征图。这些特征图随后被拼接进去噪 UNet 的自注意力里。

空间注意力:把参考特征拼进 K、V

这是本文最关键的一个操作。给定去噪 UNet 在第 ll 层的特征图 x1∈Rt×h×w×cx_1\in\mathbb{R}^{t\times h\times w\times c}(tt 为帧数,h,wh,w 为空间尺寸,cc 为通道数),以及 ReferenceNet 在同一层的特征 x2∈Rh×w×cx_2\in\mathbb{R}^{h\times w\times c},先把它沿时间维复制 tt 份:

x2′=repeat(x2, t)∈Rt×h×w×cx_2' = \mathrm{repeat}(x_2,\,t)\in\mathbb{R}^{t\times h\times w\times c}

再把两者沿宽度维拼接成一张 h×2wh\times 2w 的特征图,在这张拼接图上做自注意力,然后只取前一半的输出作为本层的新特征。

把它写成注意力形式更清楚。设这一层原本的查询、键、值为 Q=WQx1Q = W^{Q} x_1,K=WKx1K = W^{K} x_1,V=WVx1V = W^{V} x_1。拼接后,目标帧的位置既能注意到自己(x1x_1 的部分),也能注意到参考图(x2′x_2' 的部分):

Attnspatial(x1,x2)=Softmax ⁣(Q[K1,K2]⊤d)[V1,V2]\mathrm{Attn}_{\text{spatial}}(x_1, x_2) = \mathrm{Softmax}\!\left(\frac{Q [K_1, K_2]^{\top}}{\sqrt{d}}\right) [V_1, V_2]

其中 K1,V1K_1,V_1 由 x1x_1 投影得到,K2,V2K_2,V_2 由复制后的参考特征投影得到。输出只保留与 x1x_1 对应的行。从功能上看,这就是把自注意力改造成了一个混合注意力:它同时做「帧内自身的空间建模」和「跨参考图的外观查询」。论文把它称为 spatial-attention,而 MagicAnimate 把它称为 hybrid attention,两者是同一类操作的不同命名。

这个设计的两个细节值得点出:

  • 权重共享带来的同空间对齐。ReferenceNet 与去噪 UNet 用同一份 SD 权重初始化,它们的特征处在同一套特征空间里。因此「用 WKW^K 去吃另一张图的特征」在语义上是自洽的,而不是把一个陌生分布的向量硬喂进去。消融里把 ReferenceNet 换成用 ImageNet 权重初始化的 ResNet 后指标明显下降,验证了这一点。
  • 跨帧复制是为了对齐维数,不是为了制造时间信息。x2x_2 只有单帧,复制 tt 份既是为了能把两张特征图拼在一起,也是为了让每一帧都能查询到完整的参考特征;ReferenceNet 本身不做任何时间建模。

姿态引导器:轻量、只加一次

姿态通路的处理要轻得多。论文没有用 ControlNet,而是用一个四层卷积网络(核 4×4、步长 2×2,通道数 16/32/64/128)把姿态图下采样到与噪声潜变量相同的分辨率,然后直接加到噪声潜变量上,再一起进入去噪 UNet。输出投影层采用零卷积初始化,训练初期的姿态影响为零,逐步打开。

为什么可以这么轻?因为姿态图本身就是一张在原坐标上画好的骨架渲染图,它和噪声潜变量的空间对应是精确的——骨架头就是人头的画布位置。它不需要像参考图那样「查询」某个抽象概念,它需要的就是「把骨架线告诉网络」。所以姿态只需要加在进入网络的入口处一次,模型自己在每一层去噪时从这份加过姿态的潜变量中提取空间关系即可。

这一点上的对比很说明问题:ReferenceNet 在每一层都注入,因为外观细节需要在不同分辨率上分别约束;姿态引导器只在入口加一次,因为一个空间对齐的稠密信号只需要一个入口。

时间层:AnimateDiff 式的时间注意力

时间层的结构直接沿用 AnimateDiff(Guo 等,2023 年 7 月):在 UNet 中每个分辨率块的空间注意力之后插入一个时间注意力层。对输入 x∈Rb×t×h×w×cx\in\mathbb{R}^{b\times t\times h\times w\times c},先重排为 R(b⋅h⋅w)×t×c\mathbb{R}^{(b\cdot h\cdot w)\times t\times c},即把每个空间位置上的时间维当作序列维,做自注意力:

Attntemporal(x)=Softmax ⁣(QK⊤d)V,Q=WQx,  K=WKx,  V=WVx\mathrm{Attn}_{\text{temporal}}(x) = \mathrm{Softmax}\!\left(\frac{QK^{\top}}{\sqrt{d}}\right)V,\quad Q = W^{Q} x,\; K = W^{K} x,\; V = W^{V} x

其中 Q,K,VQ,K,V 都沿时间维计算,注意力张量的大小是 t×tt\times t。这个层的输出通过残差连接加回原特征。由于 tt 通常只有 16 到 24 帧,时间注意力的计算量相比空间注意力不是瓶颈。

时间层只加在去噪 UNet 里,不加在 ReferenceNet 里——ReferenceNet 处理的是一张静态图,没有时间维可以建模。

两阶段训练:先图像、后视频

训练分两段:

  • 第一阶段只训单帧。从视频里随机抽一帧作为目标,从同一段视频里随机抽另一帧作为参考。时间层暂时移除,模型输入单帧噪声。ReferenceNet、姿态引导器、去噪 UNet 都参与训练;VAE 编码器/解码器与 CLIP 图像编码器冻结。共 30,000 步,batch 64,分辨率 768×768。
  • 第二阶段插入时间层,用 24 帧视频片段训练,只训时间层,其余权重固定。共 10,000 步,batch 4,学习率 1e-5。

两阶段各有侧重。第一阶段的任务是「给一张参考图和一张骨架图,画出这一帧」——它学的是单帧的姿势对齐与身份保真。第二阶段在已经完全具备单帧能力的网络里学「如何让连续的帧彼此连贯」。论文在消融里对比了跳过第二阶段、直接端到端训练整张网络的情况:指标下降,原因是模型在多帧联合优化时会把注意力更多地放到整体时序一致性上,削弱了每一帧的细节。先建立单帧能力、再叠加时序能力,是这批系统的通用做法。

推理端:驱动骨架的整体长度被缩放到与参考图中人物骨架的近似长度,采用 DDIM 采样 20 步;长视频通过一个时间聚合方法把不同批次的生成结果连接起来。参考图只做一次 ReferenceNet 前向,特征缓存在显存里;每个去噪步的 ReferenceNet 查询都是对缓存特征的读取,不会重新跑一遍网络。

消融:哪些设计是必要的

论文的消融直接回答了「为什么这么做」:

  • 图像条件建模:只用 CLIP、只用 ControlNet、CLIP+ControlNet、ReferenceNet 四种设计对比。UBC 时尚视频数据上,ReferenceNet 版本 SSIM 0.931、LPIPS 0.044、FVD 81.6;CLIP 版 SSIM 0.897、LPIPS 0.089、FVD 208.5;CLIP+ControlNet 版 SSIM 0.898、FVD 205.4。CLIP 能保住「相似」,保不住细节;ControlNet 接参考图几乎不带来提升,正是因为空间不对齐。
  • ReferenceNet 内部设计:换成 ImageNet 权重的 ResNet(SSIM 0.901、FVD 165.4)或改用特征拼接而非空间注意力(SSIM 0.909、FVD 132.8),都不如原设计。前者验证「同一套 SD 特征空间」的必要性,后者验证「通过注意力查询」而不是「硬拼特征」的必要性。
  • 时序建模:去掉时间层后 FVD 从 81.6 升到 176.7,同时出现明显的纹理粘滞与帧间抖动。

局限

论文自己承认的局限有三条:手部动作容易变形与动态模糊;参考图只是一张图,「移动后原本看不见的身体部位」需要生成模型去猜,这是一个病态问题,结果天然不稳定;基于 DDPM 的采样效率不及非扩散方法。手部问题是后面 MimicMotion 等工作的主攻方向。

MagicAnimate:显式对齐与视频融合

MagicAnimate(Xu、Zhang 等,2023 年 11 月发布于 arXiv)与 AnimateAnyone 几乎同期、结构相近,差异在于驱动信号的选择与长视频的拼接方式。

MagicAnimate 论文 Figure 2:视频扩散主干、外观编码器与长视频滑动窗口融合

上图是 MagicAnimate 论文的 Figure 2。左边是训练:参考图进入外观编码器,DensePose 序列进入姿态 ControlNet,二者共同条件化视频扩散 UNet,并通过图像-视频联合训练增强单帧保真度。右边是推理:长视频被切成有重叠的滑窗片段,重叠帧的预测做平均,得到无接缝的长视频。

DensePose 取代稀疏骨架

MagicAnimate 用的驱动信号是 DensePose(Güler 等,2018 年)——一种把人体表面 UV 坐标直接映射到图像像素上的稠密表示。论文对稀疏骨架的批评是:身体主要关键点很少,对转身这类动作不够健壮。DensePose 的每个像素都带有体表坐标,转身时前后侧像素的体表归属都能被区分,因此对旋转动作的对齐更精确。代价是驱动信号更依赖 DensePose 估计器的质量,且对非人体(卡通、动物)没有定义。

外观编码器:拼接进自注意力的 K、V

外观编码器的结构与 ReferenceNet 很接近:一个可训练副本,去噪每一步都计算参考图在中间层与上采样层的外观特征 ya\boldsymbol{y}_{\text{a}}。差别在注入方式。ControlNet 式注入是残差相加,MagicAnimate 选择的是沿键值维拼接:

Attention(Q,K,V,ya)=Softmax ⁣(QK′⊤d)V′,Q=WQzt,  K′=WK[zt,ya],  V′=WV[zt,ya]\mathrm{Attention}(Q,K,V,\boldsymbol{y}_a)=\mathrm{Softmax}\!\left(\frac{QK'^{\top}}{\sqrt{d}}\right)V',\quad Q=W^{Q}z_t,\; K'=W^{K}[z_t,\boldsymbol{y}_a],\; V'=W^{V}[z_t,\boldsymbol{y}_a]

其中 ztz_t 是去噪潜变量,[⋅][\cdot] 表示沿 token 维拼接。这和 AnimateAnyone 的空间注意力在数学结构上等价——都是把参考特征追加为额外的 K、V token,让目标帧的每个位置能「查询」参考图的细节;区别只是实现表达。

论文对这种混合注意力的解释很到位:它一方面保留语义布局(人在画面中的位置与姿态),另一方面在去噪每一步从参考图中「取回」细节(身份、衣服、配饰、背景)。这两件事对时序一致性同样有贡献——整段视频里身份与背景是从同一张参考图取回的,所以不会越走越偏。

图像-视频联合训练

MagicAnimate 引入了一个联合训练策略:在训练视频片段的同时,以一定概率混入单帧图像数据。具体地,采样 r∼U(0,1)r\sim U(0,1),与两个概率阈值 τ1\tau_1、τ2\tau_2 比较,落在不同区间时取图像数据或视频数据。直观理解:图像数据没有时序信息,只能贡献单帧细节能力;视频数据贡献时序。按比例混合,可以让模型在整个训练里持续保有两个能力。这和 AnimateAnyone 的「两阶段」是同一目标的两种实现:一个在时间上分阶段,一个在数据分布上混合。

滑动窗口 + 重叠帧平均

长视频的分段推理是一个通用问题:显存装不下 NN 帧一起去噪,于是切成每段 KK 帧。粗暴分段的后果是段与段接缝处的跳变。

MagicAnimate 的解法很朴素:给整段视频先采样好噪声 z1:N\boldsymbol{z}^{1:N},按重叠步长 ss 切分成交叠的噪声片段 z1:K,zK−s+1:2K−s,…{\boldsymbol{z}^{1:K},\boldsymbol{z}^{K-s+1:2K-s},\dots}(片数 n=⌈(N−K)/(K−s)⌉n=\lceil(N-K)/(K-s)\rceil),每段独立去噪后,对重叠帧的预测做平均。因为重叠帧在相邻两段里都被去噪过,取平均相当于让两个「相邻上下文」给出的一致预测互相平滑,接缝处的跳变因此显著减弱。

这个方法简单但很有效,代价是重叠区域需要重复计算,总计算量大约放大到 K/(K−s)K/(K-s) 倍。它后来成为所有长视频动画系统的基线,MimicMotion 把它改进为「渐进式潜变量融合」(见后文)。

评测口径

MagicAnimate 在 TikTok 舞蹈数据集与 TED-talks 上评测。TikTok 测单帧质量(L1、SSIM、LPIPS、PSNR、FID)与视频保真度(FID-VID、FVD);TED-talks 沿用 MRAA 的 L1、平均关键点距离(AKD)、缺失关键点率(MKR)、平均欧氏距离(AED),另加 FID、FID-VID、FVD 的感知指标。

结果上,相对最强的扩散基线 DisCo,SSIM 提升 6.9%、LPIPS 提升 18.2%,FID-VID 提升 63.7%、FVD 提升 38.8%。这些数字背后真正要记住的是指标的分工:SSIM、PSNR 这类逐帧重建指标衡量姿态对齐与像素相似,FVD 衡量视频级的时序质量。一个系统可能单帧很好但 FVD 很差——逐帧去噪不建模时序时的典型症状。

Champ:把 3D 人体先验塞进中间表示

Champ(Zhu 等,2024 年 3 月)的目标是让「体型与姿态的形状级对齐」更可控。前两个系统都只用 2D 信号(骨架、DensePose),它们没有显式的体型信息:参考图里的人偏胖、驱动视频里的人偏瘦,模型只能靠外观通路把体型「拉回」参考图,没有几何依据。

Champ 论文 Figure 2:SMPL 参数化形状对齐、多层运动引导编码与 ReferenceNet 的整体结构

上图是 Champ 的整体框架。左下是形状对齐:参考图拟合出的 SMPL(参数 βref\beta_{\text{ref}})与驱动序列的 SMPL 姿态(θm1:N\theta_{\text{m}}^{1:N})重新组合,得到对齐后的 SMPL 序列。这份序列被渲染成深度图、法线图、语义图与骨架,经 Guidance Encoder 编码、自注意力精炼后融合成引导特征,加到噪声潜变量上。右侧是 ReferenceNet 与时间层,负责外观与时序。

SMPL 的统一表示

SMPL(Skinned Multi-Person Linear model)是一个参数化人体模型:形状参数 β\beta、姿态参数 θ\theta、全局位移 tt 共同决定一张人体网格 M(β,θ,t)M(\beta,\theta,t)。它的价值在于形状与姿态被编码在同一个低维参数空间里,因此可以在两个实例之间做参数级组合:

Htransi=SMPL(βref, θmi)H_{\text{trans}}^{i} = \mathrm{SMPL}(\beta_{\text{ref}},\, \theta_{\text{m}}^{i})

也就是:取参考图拟合出来的体型参数 βref\beta_{\text{ref}},配上驱动序列第 ii 帧的姿态参数 θmi\theta_{\text{m}}^{i}。这个组合得到的是「参考图那个体型做驱动视频那个动作」的几何实例。相比 2D 骨架,它多编码了体表朝向、遮挡关系、轮廓形状——转身时哪一面朝向镜头、手臂在身体前方还是后方,这些都是由 3D 几何决定的。

多层引导:四张图各管一件事

对齐后的 SMPL 序列被渲染成四种信号:

  • 深度图:告诉模型人体表面的前后关系,是形状轮廓的主要来源。
  • 法线图:编码表面朝向,让模型知道每个部位是正面还是侧面朝向镜头。
  • 语义图(body part segmentation):区分身体部位,帮助模型在遮挡时知道哪一部分被哪一部分挡住。
  • 骨架图:作为辅助输入保留,因为脸部表情与手指这类精细动作,从 SMPL 网格上渲染反而更模糊,骨架对这些区域更精确。

论文在训练完成后画出了每个引导网络的自注意力图,显示出分工:深度条件主要聚焦人体几何轮廓,法线条件聚焦朝向,语义条件聚焦不同身体部位,骨架条件给出脸和手的细节约束。这四种信号不是简单叠在一起,而是由不同的自注意力模块提取出互补的信息。

多层运动融合:零卷积输出 + 求和

每个引导信号单独过一个「引导网络」——卷积层加自注意力,然后通过零初始化卷积输出,最后把所有信号的输出求和成一个引导特征:

y=∑i=1NFi(pi;θi)y=\sum_{i=1}^{N}\mathcal{F}^{i}(\boldsymbol{p}^{i};\theta^{i})

其中 NN 是引导条件数,pi\boldsymbol{p}^{i} 是第 ii 种引导图。求和后,yy 被加到噪声潜变量上,与 AnimateAnyone 的姿态引导器处于同一个位置。论文解释为什么用轻量引导网络而不是多个 ControlNet:多重条件叠多个 ControlNet 计算负担不可接受,而这里只需要一个可微调的网络。

零初始化卷积在这里的作用是保证微调不破坏预训练主干:训练开始时引导特征恒为零,主干行为与原来完全一致;随着训练推进,引导信息逐步「长出来」。这与 AnimateAnyone 姿态引导器的零卷积初始化和 ControlNet 的 zero-conv 出自同一设计传统。

训练

同样是两阶段:第一阶段只训图像,参考帧与目标帧从同一视频随机抽;第二阶段插入 AnimateDiff 初始化的运动模块,用 24 帧片段训练,此时 Guidance Encoder、去噪 UNet、ReferenceNet 全部固定,只训运动模块。注意第二阶段把第一阶段已经训好的条件通路冻结,只补时序能力——这是对「先单帧、后时序」这条原则的又一次体现。

MimicMotion:置信度感知的手部与面部细化

MimicMotion(Zhang 等,腾讯,2024 年 6 月)的两个重点:姿态信号本身可能是错的,怎么办;长视频怎样做到接缝更自然。

MimicMotion 论文 Figure 2:参考图双通路注入、PoseNet 与置信度加权损失的模型结构

上图是 MimicMotion 的模型结构。参考图走两条通路:CLIP 图像编码器输出进入 U-Net 的交叉注意力,冻结 VAE 编码器输出的单帧潜编码被复制 KK 份、与原视频帧潜编码沿通道拼接。姿态序列经 DWPose 带置信度提取后,由 PoseNet 编码并加到 U-Net 第一层卷积的输出上。右下是置信度加权损失:高置信区域(尤其是手部)的损失被放大。

参考图的双通路:语义 + 潜编码拼接

这一版没有用 ReferenceNet,外形参考走的是「双通路」:

  • 语义通路:CLIP 图像编码器输出图像嵌入,进入 U-Net 每个块的交叉注意力。
  • 潜编码通路:冻结 VAE 编码器把参考图编码成一份潜变量,沿时间维复制 KK 份,与视频帧潜变量沿通道维拼接,一起进入 UNet。

第二条通路相当于把「参考图在第 0 通道」作为常驻的邻居帧告诉网络。它比 ReferenceNet 便宜(只是一次 VAE 编码与拼接),但表达能力更弱——编码后的潜变量只有低维通道,细节比空间注意力查询少。选择它与底模有关:MagicAnimate 和 MimicMotion 都基于 Stable Video Diffusion,底模本身已经是一个视频模型,通道拼接是它接受额外条件帧的原生方式(AnimateDiff 与 SVD 的帧条件都是这样做的)。

PoseNet:为什么不能把姿态图喂给 VAE

姿态引导器在这一版叫 PoseNet,也是多层卷积。论文解释了不直接把姿态图过 VAE 编码器的原因:姿态图的像素分布与自然图像差异极大(纯黑背景、彩色的骨架线),VAE 是在自然图像上训练的,对这类输入的分量化和重建会产生失真。用一个单独的卷积网络,可以直接把骨架几何编码到与潜变量同分辨率的特征上,避免引入 VAE 的域误差。

姿态特征加到 U-Net 第一层卷积的输出上,而不是每一层。论文给出的两个理由很重要:姿态序列是逐帧估计的、没有任何时间交互,如果在时空层内部直接起作用,会干扰 U-Net 已经具备的时空混合;在入口处加一次,让时空层从已经含姿态信息的特征里去做时序建模,逻辑更清晰。

置信度:把姿态估计的可靠度画进信号里

姿态估计器(DWPose)对每个关键点输出一个置信度,遮挡与运动模糊处置信度低。直觉上应该「过滤低置信点」,但直接阈值过滤会丢掉信息,且固定阈值不适用于各种动作幅度。MimicMotion 的做法是:把置信度乘到关键点与肢体的绘制颜色上,于是低置信部位的骨架线变暗。模型看到一张「暗的地方不确定、亮的地方确定」的姿态图,就能自然地在训练与推理时把注意力分配给可靠的位置。这是把一个标量信息编码进现有像素画布的直接办法。

第二层利用是区域损失加权。对手部区域,只有当所有关键点的置信度都超过阈值时,才认为这一帧的手是可靠的,取出这些关键点的包围盒做掩码,在计算视频扩散损失时把该区域的损失放大。这相当于把训练数据中的损失分布重新加权:手部高置信的区域梯度更强,模型在这些数据上更倾向学到清晰的手。手部一直是扩散视频生成里失真最重的部位,这个做法直接针对病灶。

渐进式潜变量融合

分段的接缝在时间维上比在空间维上更让人敏感——图片拼接的空间瑕疵像「一小块奇怪区域」,视频拼接的时间瑕疵则是「闪烁」或「突然换人」。MimicMotion 采用类似 MultiDiffusion 的思路但改良为渐进式:融合不发生在全部去噪结束之后一次完成,而是插在每一个去噪步里。每个去噪步,各段先用模型各自去噪一遍,随后在重叠帧上做加权平均——融合权重 λextfusion=1/(C+1)\lambda_{ ext{fusion}}=1/(C+1)(为重叠帧数),越靠近段边界的重叠帧,对本段的融合权重越高、对邻段的依赖越小。第为重叠帧数),越靠近段边界的重叠帧,对本段的融合权重越高、对邻段的依赖越小。第 个重叠帧的更新可以写成

3866612 \mathbf{z}i^{j} \leftarrow j\lambda{ ext{fusion}},\mathbf{z}i^{j} + (1-j\lambda{ ext{fusion}}),\mathbf{z}_{i-1}^{N-C+j} 3866612

其中 zij\mathbf{z}_i^{j} 是第 段第段第 帧的潜变量,是段长, 是段长,\mathbf{z}_{i-1}^{\cdot}$ 是前一段中与它重叠的帧。逐步融合让邻段信息在每个去噪步里被混合一次,而不是只在末端拼一次,因此边界处两个上下文对同一帧的估计在每个步都互相拉近,最终接缝平滑得多。

这个方案相对重叠平均的优势是不需要重复计算整帧,代价是需要更细致地管理每段之间的潜变量传递。

Wan-Animate:把输入形式改成「参考帧」

从 2024 年下半年开始,这条路线的主干开始从 UNet 扩散模型转向 Diffusion Transformer(DiT)视频基础模型。Wan-Animate(2025 年 9 月,Wan 团队)建立在开源视频模型 Wan2.1-I2V 之上,它最值得读的是输入形式的重新定义。

Wan-Animate 论文 Figure 2:在 Wan-I2V 之上改写输入范式以同时支持动画与角色替换两种模式

上图是 Wan-Animate 的整体结构。输入被统一成五份潜编码:参考潜编码(Ref)、环境潜编码(Env)、若干时间潜编码(Temporal)、目标潜编码(Target)以及对应的二值掩码。它们拼接后加噪进入 DiT,再逐帧解码;骨架信号经 Body Adapter 编码后加到目标潜编码的 patch 上,面部图像经注意力注入。

I2V 的输入范式不适合角色动画

Wan-I2V 的任务是「给定第一帧,续写视频」。它的输入由噪声潜变量、条件潜变量与二值掩码组成,条件潜变量是把给定图像与零填充帧拼接。这个范式隐含一个假设:给定帧的角色是「起始状态」。

角色动画不满足这个假设:参考图不负责「开始画面」,它只负责「外观参照」,视频内容完全由驱动信号决定。于是 Wan-Animate 把输入重写为:

  • 参考潜编码:参考图经 Wan-VAE 编码成一份潜编码,沿时间维与目标潜编码拼接,掩码全置为 1。它被当成了「序列里的一个已知帧」,只不过它的内容不是时间上的某帧,而是外观参照。由于 DiT 在预训练时已具备跨帧一致性能力,参考帧沿时间维拼接,天然复用了这套预训练出来的「帧间关系」——这正是 DiT 架构里外观条件的一种自然形式。
  • 时间潜编码:长视频合成需要时序引导,于是从目标序列开头随机抽几帧的真实潜编码作为条件帧(掩码全 1)。训练时以一定概率启用,让模型学会在不同条件下都能生成。注意去噪过程会生成完整序列(包括参考帧与时间帧的位置),推理时只丢弃这些位置的输出。
  • 环境潜编码:两种模式的区别靠掩码体现。动画模式下,条件帧与掩码全置 0,即允许 DiT 在整幅画布上自由生成,背景由参考帧的外观条件带出;替换模式下,先把参考视频中的人物区域分割出来、把该区域置零得到环境帧,掩码在环境区域置 1、人物区域置 0,于是模型只在被挖空的人物位置生成新角色,背景原样保留。

这样一来,动画与替换被统一成同一个模型的两个掩码配置,不需要两个独立网络。这个设计的价值在于:它没有为「参考图」再发明一套网络结构,而是把参考图当成序列中的「内容已知的帧」,直接复用基础模型已有的跨帧机制。

姿态与面部:两套不同的注入

身体控制用骨架信号,理由是通用性:非人形生物(卡通、异形)用 SMPL 这类人形参数化模型完全对不上,而骨架在任何形体上都有定义。骨架帧先经 Wan-VAE 压缩到与目标潜变量相同的时空网格,再用投影层打 patch,加到噪声潜变量的 patch 上。参考潜编码不参与这一步——骨架只加在目标帧上,这样在潜空间里就不存在「参考帧也有骨架」的暗示,模型不会把参考帧误当成「时间上的一帧」。这是一个很细的架构级决定,说明参考帧与时间帧的区别不能只靠语义,必须靠数据布局。

面部控制改用原始面部图像,而不是面部关键点。理由有两条:关键点在提取时丢细粒度信息,复刻不了表情;关键点是稠密信号,在跨身份场景里对不准,反而破坏身份一致性。面部图像按骨架位置裁出来,编码成逐帧隐式潜编码,与 DiT 潜编码在时间上对齐,在对应时间段内用交叉注意力注入。训练时是自监督的,论文强调必须从面部特征中剥离身份信息,否则模型会利用驱动视频里的身份线索去「画脸」,造成身份泄漏。

StableAnimator:让身份链路不被时序层污染

StableAnimator(Tu 等,2024 年 11 月)提出的问题很具体:加时序层之后,身份一致性会变差。

StableAnimator 论文 Figure 2:Face Encoder、分布对齐 ID Adapter 与 HJB 面部优化的整体结构

上图是 StableAnimator 的框架。参考图走三条通路:冻结 VAE 编码器得到潜编码(复制到每帧、沿通道拼接)、CLIP 图像编码器得到图像嵌入(进入 U-Net 交叉注意力)、ArcFace 抽出人脸嵌入(经带全局内容的 Face Encoder 精炼后进入 U-Net)。姿态序列由 PoseNet 处理并加到噪声上。面板 (c) 是推理时的 HJB 面部优化。

问题:时序层会改变空间分布

身份保持方法(如 IP-Adapter-FaceID)在图像扩散模型上做得很好,但直接搬进视频扩散模型会失效。原因是:时序层在每个去噪步都注入跨帧信息,这改变了去噪潜变量的分布——原本图像扩散里「人脸嵌入与潜变量」处在同一个分布下,加了时序层之后潜变量被拉到另一个分布,二者之间的投影不再对齐。表现为脸部的空间特征被扭曲。

这不是「时序层不好」,而是跨模块的分布错配:一个在图像域调好的适配器,放到视频域需要重新对齐。

分布感知的 ID 适配器

解法是:在身份注入处同时计算两边的分布统计量(均值与方差),做分布对齐,而不是直接相加。具体地,扩散潜变量分别对参考图的人脸嵌入与图像嵌入做交叉注意力,得到两份注意力输出,分别计算它们的均值与方差,然后将二者逐步拉近——每一步去噪都把两个分布的矩调得更接近。这相当于在每一层去噪里温和地把「视频潜变量的分布」与「图像域 ID 特征的分布」对齐,避免时序层已经把分布推远之后,身份注入还停留在旧坐标里。

为什么选「分布对齐」而不是「直接相加」:相加会把两个不同分布下的坐标强行叠加,本质是一个线性操作,无法修正尺度与偏移;分布对齐是逐层的软约束,它让两边的统计量在每一步持续靠拢,因此对时序层造成的渐进漂移是「每一步都在纠偏」,而不是「每步都叠加误差」。

训练端与推理端的分工

两端的策略不同:

  • 训练端:Face Encoder 与 ID Adapter 学「如何在不引入身份噪声的前提下注入脸」。Face Encoder 先让 ArcFace 的人脸嵌入与 CLIP 的图像嵌入做多轮交叉注意力,使脸的表示先感知参考图的整体布局,再进入 UNet,避免脸部特征被背景干扰。
  • 推理端:提出基于 Hamilton-Jacobi-Bellman 方程的面部优化。直觉上,HJB 方程描述的是「在给定动力学下,如何选择控制量使某个最优目标达到极值」。这里把它用作去噪过程里的「最优梯度方向」引导:在每个去噪步中,沿着能最大化身份相似度的方向修正潜变量。论文强调这个优化只在推理端启用,不训练任何扩散组件。它替代了 MimicMotion 一类工作中的「外部换脸后处理」——后处理会损坏整体画质,而推理端内的引导式修正是在去噪过程中温和地调整。

整体结果

StableAnimator 在 TikTok 上相对 ControlNeXt 的 CSIM 提升 47.1%,同时取得该对比中最好的 FVD 140.62,论文给出的评测里包含 CSIM(动画帧与参考图的人脸嵌入的余弦相似度)这一指标。这条路线真正值得记住的不是具体数字,而是身份一致性可以作为去噪过程内的可优化目标,而不是依赖训练后的补救。

长视频与推理账本

所有系统都面对同一个硬约束:一次去噪的显存与计算量与帧数成正比。具体到数字,768×768 分辨率、24 帧、潜变量 4 通道的规模,在 80GB 显存的加速卡上已经接近边界,再往上堆帧或分辨率都会溢出。这决定了长视频必须分段。

分段策略的三条路线

  • 重叠平均(MagicAnimate):各段独立去噪,重叠帧的预测取平均。实现简单,代价是重复计算。
  • 渐进潜变量融合(MimicMotion):后一段承接前一段末尾的潜变量,越近继承权重越大。计算量小,但需要更复杂的段间状态管理。
  • 时间聚合/参考帧条件(AnimateAnyone、Wan-Animate):前者用固定的聚合方法拼接批次;后者把参考帧与开头几帧的条件潜编码一起送入,让模型在自身预训练出的跨帧机制里自行维持连贯。后者的代价是把所有段都当成一个序列来训练,训练数据长度和成本都上升。

推理开销的组成

一次动画请求的推理开销可以拆成四部分:

  1. 条件通路前向:ReferenceNet / 外观编码器对参考图的前向。只在开头执行一次,所有步共享。这部分是一次性成本。
  2. 驱动预处理:姿态估计(提取 DWPose / DensePose / SMPL)是 CPU/GPU 混合工作,通常在 GPU 上推理,耗时与帧数成正比,与去噪步数无关。
  3. 去噪主循环:TT 个采样步乘以 NN 帧,每步都要跑整个 UNet/DiT,其中包含空间注意力、交叉注意力、时序层与参考查询。这是主要开销。
  4. 解码:VAE 解码把每帧的潜变量还原成像素,与帧数成正比,与采样步数无关。

ReferenceNet 这类设计的推理账有个关键点:虽然它的参数量与去噪 UNet 相当,但每段视频只前向一次,而 UNet 要跑 T×KT\times K 次。按 20 步 DDIM、K=24 帧算,ReferenceNet 的成本摊到 480480 次去噪调用之后,占比很小。这也意味着如果一段视频很长、分段很多,可以只跑一次 ReferenceNet,把特征在所有段之间共享——前提是参考图在整段视频里不变,这对所有系统都成立。

另一个被低估的成本是时序注意力在长序列上的二次增长。AnimateDiff 式时间层的注意力矩阵是 t×tt\times t;若某段尝试把 tt 从 24 拉到 96 帧以省去分段,时间注意力的开销会按 t2t^2 增长。这是为什么这条路线长期停留在 24 帧一段——分段虽然带来接缝问题,但时间注意力的二次成本让长段不划算。DiT 视频模型通过更强的时序能力与更长的上下文把这一边挪了一些,但分段在工程上依然是默认选择。

帧数与分段数的关系

设视频共 NN 帧,每段 KK 帧,重叠 ss 帧,则段数为

n=⌈N−KK−s⌉n = \left\lceil \frac{N-K}{K-s} \right\rceil

总计算量近似正比于 nKnK(每段都要完整去噪一遍)。ss 越大,接缝越平滑,但重复计算越多;ss 越小,段越多、接缝越多。这是一个工程上必须调的参数,没有通用的最优值。

失效模式与评测

把前面几篇系统暴露的问题收集起来,失效模式可以归成五类,这在部署时是排障的索引:

  • 身份漂移:帧数越多越严重。根因是外观条件太弱(只用 CLIP)或参考查询在细分层级不够(如只在低分辨率层注入)。症状是越到后面越像别人。
  • 手部与面部失真:手是高自由度、高遮挡、低数据密度的部位。根因是训练数据中手部样本不足且姿态估计对手部置信度低。MimicMotion 与 Wan-Animate 各自用损失加权、原始面部图像来对症。
  • 姿态误导:驱动姿态估计错误(遮挡、模糊)被模型当真。根因是姿态信号被当成了绝对事实。置信度感知把可靠度编码进信号,是这一类的主要修正。
  • 接缝跳变:分段边界处的身份、颜色、背景突变。根因是段间状态没有传递,或仅靠后处理拼贴。重叠平均与渐进融合是两种修正。
  • 非人形泛化失败:卡通、动物、异形角色,人形先验(SMPL、DensePose)对不上。根因是把人体几何硬编码进了条件信号。Wan-Animate 选骨架而非 SMPL,正是为了泛化。

评测指标的分层

不同指标对应不同约束,混在一起看会误判:

  • 单帧重建指标:SSIM、PSNR、L1。衡量「这一帧有多像素级接近目标」,对应姿态对齐与外观保真。它不衡量时序。
  • 感知单帧指标:LPIPS、FID。衡量「看起来是否自然、像不像」。FID 与数据分布有关,跨数据集不可直接比。
  • 视频感知指标:FVD、FID-VID。衡量帧与帧之间的连贯性,对闪烁、抖动最敏感。
  • 身份指标:CSIM(人脸嵌入与参考图的人脸 embedding 的余弦相似度)。衡量身份一致性,与 CSIM 的提取器强相关,不同工作使用的提取器不同,数字不可横比。
  • 姿态指标:AKD(平均关键点距离)、MKR(缺失关键点率)、AED。衡量生成帧的骨架与驱动骨架的对齐程度。

实际工程里最常被忽视的是 FVD:只看 SSIM 选型,会得到一个逐帧很清晰、但整段看起来「闪一下、卡一下」的系统。这类系统的根因通常在时序通路过弱,或者分段融合做得不够。

小结

把这条路线收拢成结构层的一句话:参考图靠「查询」注入,姿态靠「加法」注入,时序靠「跨帧注意力」注入。这三个操作对应三种输入性质——外观是静态抽象(需要查询)、驱动是逐帧对齐(需要加在位置明确的地方)、时序是跨帧关联(需要让同一位置的各帧互相看见)。

具体系统在这条原则上的差异集中在几个可调的旋钮上:

  • 外观通路选 ReferenceNet 空间注意力(强、细节级)还是 CLIP 交叉注意力(弱、语义级)还是 VAE 潜编码拼接(便宜、通道级)。
  • 姿态通路用稀疏骨架、DensePose 还是 SMPL 渲染图,是否带置信度,是否叠加多层引导。
  • 时序通路是插入时间层还是直接用自带时序的视频基础模型;长视频是重叠平均还是渐进融合。
  • 身份一致性是否作为推理时的优化目标内嵌进去噪循环。

这些旋钮之间的取舍也在此收拢:外观强了就牺牲姿态灵活性,时序强了就牺牲单帧清晰度,3D 先验强了就牺牲非人形泛化,长段减少接缝但时间注意力开销按平方增长。没有一组旋钮同时给出完美输出;工业上常见的选择是接受一两条约束的退化来确保其余约束成立,再在部署侧(后处理、换脸、分段调度)补回。

这条路线接下来的问题,Wan-Animate 一类工作已经给出一个方向:不再为参考图发明新网络,而是让参考图「像一个已知帧」一样进入通用视频模型,让模型自己在统一的条件空间里承担外观与时序两类职责。这减少了结构上的发明,代价是把更多责任压给基础模型的规模与训练数据。

参考资料

  1. Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation(Hu 等,arXiv:2311.17117)
  2. MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model(Xu 等,arXiv:2311.16498)
  3. Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance(Zhu 等,arXiv:2403.14781)
  4. MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance(Zhang 等,arXiv:2406.19680)
  5. Wan-Animate: Unified Character Animation and Replacement with Holistic Replication(arXiv:2509.14055)
  6. StableAnimator: High-Quality Identity-Preserving Human Image Animation(Tu 等,arXiv:2411.17697)
  7. AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning(Guo 等,arXiv:2307.04725)
  8. DisCo: Disentangled Control for Realistic Human Dance Generation(Wang 等,arXiv:2307.00040)
  9. First Order Motion Model for Image Animation(Siarohin 等,arXiv:2003.00196)
  10. DensePose: Dense Human Pose Estimation In The Wild(Güler 等,arXiv:1802.00434)
  11. Adding Conditional Control to Text-to-Image Diffusion Models(Zhang 等,arXiv:2302.05543)
  12. Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets(Blattmann 等,arXiv:2311.15127)
  13. ControlNeXt: Powerful and Efficient Control for Image and Video Generation(Peng 等,arXiv:2408.06070)
  14. UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation(Wang 等,arXiv:2406.01188)

架构总览:三条条件通路

AnimateAnyone:ReferenceNet 与姿态引导器

MagicAnimate:显式对齐与视频融合

MimicMotion:置信度感知的手部与面部细化

Champ:把 3D 人体先验塞进中间表示

长视频与推理账本

失效模式与评测

小结

参考资料

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

人体图像动画架构拆解:一张照片如何跟着骨架动起来——ReferenceNet、姿态引导与时序运动模块
https://pinghaoyang.com.cn/articles/insights/posts/human-image-animation-architectures/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录