正在获取所在地区…
正在读取天气
音乐
暂未播放
视频转音频生成基础架构:耦合扩散、CAVP 对齐与整流流三条路线
问题定义:给画面配声音为什么是一个生成问题
一段无声视频要变成能播的成片,缺的那条音轨通常由 Foley 艺术家补上。他们在录音棚里对着画面踩碎石、揉布料、敲金属,把动作拆成一层层声音素材,再和画面对齐、混音。这套流程从 1920 年代有声电影诞生起沿用至今,成本高、周期长,而且强依赖艺术家的经验:同一段脚步,换个人录,质感和节奏就不一样。
视频转音频生成(Video-to-Audio,V2A)要做的,是把这段人工流程换成一个条件生成模型:输入一段无声视频(可以附带一句文本描述),输出一条与画面语义相关、事件发生的时刻对得上、音质可用的音轨。它的输出不是”配乐”,也不是”语音”,而是画面里物体相互作用产生的声音——脚步、关门、玻璃碎裂、火焰燃烧、风声、衣物摩擦。这类声音在影视工业里统称 Foley,所以这条任务线也叫 Neural Foley。
任务的难点不在”生成好听的声音”,而在”生成对的声音,并且在对的时刻响”。一段 8 秒的视频对应无数条合理的音轨:雨声可以是细雨也可以是暴雨,脚步可以是皮鞋也可以是运动鞋,关门可以是木头也可以是金属。模型必须从画面里读出材质、动作强度、空间关系,再把这些信息落实到波形的细节上。同时,声音是事件性的:玻璃杯落地的碎裂声必须在杯子接触地面的那几十毫秒内出现,早 300 毫秒或者晚 300 毫秒,观众立刻会觉得假。语义相关性与时间同步性是两个独立的约束,任何一个不满足,输出都不能用。

上图对比了两条路径:左侧是 Foley 艺术家在录音棚里对着画面逐段录制,右侧是模型直接从无声视频生成音轨。差别不只是”人力换算力”,更关键的是生成模型必须自己完成”看画面—判断事件—合成声音”这三步的联合推理,而人工流程里这三步由人脑和录音设备分别承担。
从信息论的角度看,V2A 是一个带宽极不对等的条件生成问题。视觉侧输入是每秒若干帧的 RGB 图像,模型从中抽取几百维到上千维的特征;音频侧输出是每秒 16000 到 48000 个采样点,即使压缩到 mel 频谱或潜空间,时间轴上的格子数也远多于视频帧数。条件的信息量小,目标的信息量大,模型必须把”画面里发生了什么”翻译成”声音应该如何随时间演化”,而不是简单地复制视觉特征。
这条任务线与文本到音频(Text-to-Audio,T2A)有本质区别。T2A 的条件是一句文本,“雨打在铁皮屋顶上”只规定了场景类别,模型可以自由决定雨滴的密度和节奏;V2A 的条件是逐帧的画面,事件的发生时刻、持续时长、强弱变化都被画面钉死了。文本条件只能提供语义先验,无法提供时间结构,这也是为什么直接把 T2A 模型套到 V2A 上,生成的音频往往”听起来像那么回事,但对不上画面”。
从系统角度看,V2A 还有一个工程约束:它通常嵌在视频生产流水线里,一条几分钟的片子要切成几十上百个片段分别生成。单段延迟、批处理吞吐、显存占用、长视频拼接的边界处理,都会直接影响它能不能落地。后文在讲清三条架构路线之后,会把一次请求的计算账逐段拆开。
先把音频表示定下来:波形、mel 与潜空间
生成模型的第一层设计不是网络结构,而是”生成什么”。音频有三种常见表示,选择哪一种,直接决定了后续网络的形状、采样步数的成本,以及同步性能到哪个时间粒度。
波形:最低层也最贵
波形是采样点序列。16 kHz 单声道下,1 秒是 16000 个数;48 kHz 立体声下,1 秒是 96000 个数。MM-Diffusion 选择直接在波形上做扩散:它生成的音频张量形状是 1×25600,对应 16 kHz、1.6 秒,和它生成的 16 帧、10 fps 视频在时长上严格对齐。
在波形上做扩散的好处是不需要声码器,模型输出的就是可播放的信号,相位信息由模型自己学。代价是序列太长:1.6 秒就有 25600 个点,注意力或卷积的感受野要覆盖足够长的时间才能形成有意义的音色,训练和采样的计算量都压在最低层。MM-Diffusion 用一维空洞卷积堆叠加下采样来解决,把波形压到较短的潜序列再扩散,解码时再还原。
mel 频谱:把相位交给声码器
mel 频谱是对短时傅里叶变换(STFT)的能量谱做 mel 刻度压缩后的二维表示。设 STFT 帧移为 H、采样率为 fs,则每秒的帧数是 fs/H;每一帧保留 M 个 mel 滤波器组通道。mel 刻度本身是一个把线性频率映射到感知刻度的公式:
m=2595log10(1+700f)其中 f 是线性频率(Hz),m 是 mel 刻度值。人耳对低频更敏感,mel 刻度在低频段密、高频段疏,所以同样的通道数能更好地覆盖语音和音效的主要能量区。
mel 表示丢掉了相位,只保留幅度谱。这对生成是好事:相位对波形细节极其敏感,直接回归相位很难;把相位交给声码器(vocoder)从幅度谱重建,是语音合成沿用多年的分工。Diff-Foley 和 Frieren 都走这条路:扩散模型生成 mel 潜变量,再由声码器还原波形。声码器的结构与取舍可参考站内从频谱到波形的 GAN 声码器一文,Frieren 用的正是 BigVGAN 这一类生成器。
具体规格上,Diff-Foley 使用 16 kHz 采样、128 个 mel 通道、帧移 256,生成 8 秒音频;按 16000/256=62.5 帧每秒计算,8 秒是 500 个 mel 帧。视觉侧只有 4 fps,8 秒 32 帧。两个时间轴的格子数差了将近 16 倍,这个比例决定了后面所有”如何把视觉特征铺到音频时间轴”的设计。
潜空间:扩散真正发生的地方
直接在 128×500 的 mel 上做扩散仍然偏贵。潜扩散模型(Latent Diffusion Model,LDM)先用一个自编码器把 mel 压到更小的潜张量,扩散过程在潜空间里进行,采样结束后再解码回 mel。Diff-Foley 沿用 Stable Diffusion 的自编码器结构处理单通道 mel,扩散 U-Net 的骨干也沿用 SD-V1.4 的四层编码器、中间块、四层解码器,并在下采样率为 1、2、4 的三层上插入交叉注意力。
压缩带来的收益是双重的:每一步去噪要处理的元素数量按压缩比的平方下降(如果两个维度都压缩),显存和单步延迟随之下降;同时潜空间的分布更平滑,扩散模型更容易拟合。代价是自编码器的重建误差会成为音质上限——mel 压得太狠,高频细节和瞬态就回不来了,声码器再强也补不回来。
Frieren 的结构更直白一些:一个 mel 自编码器负责 mel 与潜变量之间的往返,一个向量场估计器在潜空间里求解 ODE,最后接 BigVGAN 声码器。它的潜空间时间分辨率高于视频帧率,所以需要一个”长度调节器”把 4 fps 的视觉特征复制到潜序列的每个时间格上,这一点在讲 Frieren 时展开。
三种表示的取舍可以归纳成一张表:
| 路线 | 音频表示 | 采样率 / 帧率 | 是否需要声码器 | 主要成本 |
|---|---|---|---|---|
| MM-Diffusion | 原始波形(经一维卷积编码) | 16 kHz,1.6 s | 否 | 序列极长,卷积感受野与下采样设计复杂 |
| Diff-Foley | mel 潜空间 | 16 kHz,128 mel,62.5 帧/s | 是 | 自编码器重建误差 + 声码器一次前向 |
| Frieren | mel 潜空间 | 沿用 16 kHz mel 口径 | 是(BigVGAN) | 同上,但采样步数可压到 1 步 |
这张表里没有”哪个更好”的答案,只有任务约束下的取舍:要做联合音视频生成,波形路线可以让两个模态在同一套扩散框架里端到端训练;要做高质量、低延迟的纯配音,mel 潜空间加声码器是更现实的工程组合。
视觉条件从哪来:CLIP 特征为什么不够
音频表示定了之后,第二个设计决策是”从视频里抽什么特征”。这个选择比网络结构更影响同步性,因为条件的时间结构一旦在编码阶段被抹平,后面再强的注意力也补不回来。
早期的 V2A 工作直接用图像分类骨干。SpecVQGAN 用 ResNet50 或 RGB 加光流特征,把视频帧编码成向量序列,再自回归地生成频谱码本索引。这类特征擅长判断”画面里有什么物体”,但对”物体在什么时候动了”不敏感:ResNet 在 ImageNet 上训练的目标是图像级分类,池化之后的特征丢失了帧间差异。
Im2Wav 换成 CLIP 特征,语义能力强了很多,能区分”雨”和”海浪”,但 CLIP 同样是在图文对上训练的,它的对齐目标是”这张图匹配这句话”,不是”这一帧匹配这一刻的声音”。CLIP 特征对时间几乎不敏感:把视频帧顺序打乱,池化后的 CLIP 特征变化很小。用它做条件,模型能生成语义正确的声音,却很难把事件放到正确的时刻。
Diff-Foley 的做法是针对 V2A 任务重新做一次音视频对比预训练,得到 CAVP 特征(Contrastive Audio-Visual Pretraining)。CAVP 用两个编码器:音频侧沿用 PANNs 的卷积音频编码器,视频侧用 SlowOnly 的 3D 卷积骨干。两者都把输入编码成时间维相同的特征序列:
Ea=fA(xa)∈RT×C,Ev=fV(xv)∈RT×C其中 xa 是 mel 频谱,xv 是视频片段,T 是共同的时间长度,C 是特征维度。音频编码器和视频编码器的输出被强行对齐到同一个时间网格上,这是后续所有对比学习的前提。
CAVP 的损失由两部分组成。语义对比损失把时间维池化后的音频特征 Eˉa 和视频特征 Eˉv 拉近,负样本来自同一批次里的其他音视频对,形式就是 CLIP 用的 InfoNCE:
LS=−log∑jexp(Eˉa⊤Eˉv,j/τ)exp(Eˉa⊤Eˉv/τ)其中 τ 是温度系数,分母遍历批次内所有视频特征。这一项让模型学会”这段声音和这段画面是不是同一件事”。
时间对比损失则在同一对音视频内部构造正负样本:第 t 个时间格的音频特征应该和第 t 个时间格的视频特征相似,而和不远处但错位的第 t+Δ 个时间格不相似。这一项逼迫特征保留”何时发生”的信息,而不是把整段视频压成一个语义向量。
LT=−logexp(Ea,t⊤Ev,t/τ)+∑Δ∈Nexp(Ea,t⊤Ev,t+Δ/τ)exp(Ea,t⊤Ev,t/τ)N 是时间偏移集合,通常取邻近的若干帧。两项合起来,CAVP 特征同时具备语义判别力和时间定位力,这正是 V2A 条件所需要的两种性质。
用对抗的方式理解:CLIP 学的是”这张图和这句话配不配”,CAVP 学的是”这一帧和这一刻的声音配不配”。后者的监督信号来自同一段视频内部的音画同步,不需要人工标注,因此可以在大规模音视频数据上预训练。Diff-Foley 之后,Frieren 也直接复用 CAVP 特征做条件,说明这套表征已经成为这条任务线的公共基础设施。
视觉特征的时间粒度同样是一个设计变量。Diff-Foley 把视频降到 4 fps,8 秒只有 32 帧特征。4 fps 意味着 250 毫秒的时间分辨率,对于脚步、关门这类事件够用,对于玻璃碎裂这种毫秒级瞬态就不够。降低帧率是为了控制条件序列长度和编码成本,代价是同步精度的上限被钉在 250 毫秒。这个数字在后文的对齐指标里会反复出现:模型的同步误差很难低于条件特征的时间粒度。
还有一个容易被忽略的细节:视觉特征序列和音频潜序列的时间格数不一致。Frieren 用一个长度调节器解决:把每个视觉特征复制 ⌈Llatent/(fv⋅Tclip)⌉ 次,使调节后的序列长度与 mel 潜序列对齐。复制而不是插值,是因为视觉特征在 250 毫秒内本来就没有新信息,插值只会制造虚假的中间状态。调节之后,第 i 个潜时间格对应第 ⌊i/r⌋ 个视频帧,这个固定的对应关系让后续的通道拼接成为可能。
路线一:MM-Diffusion 的耦合去噪
MM-Diffusion 是微软亚洲研究院与中国人民大学在 2022 年底提出的联合音视频生成模型,发表在 CVPR 2023。它的出发点不是”给视频配音”,而是”同时生成一段匹配的视频和音频”。这个目标决定了它的架构:视频和音频不是条件与被条件的关系,而是同一个联合分布里的两个变量,去噪过程必须互相看见。
联合分布而不是两个边缘分布
如果分别训练一个视频扩散模型和一个音频扩散模型,再想办法把两者配对,得到的是两个边缘分布的采样,二者之间的相关性没有任何机制保证。MM-Diffusion 的做法是在每个去噪步同时预测两个模态的噪声,并且让每个模态的预测都依赖两个模态当前的噪声状态:
ϵθa=ϵθa(at,vt,t),ϵθv=ϵθv(at,vt,t)其中 at 是第 t 步的音频状态,vt 是第 t 步的视频状态。音频分支的去噪网络能读到视频的中间特征,视频分支也能读到音频的中间特征,两个分支在每一层通过跨模态注意力交换信息。这样采样出来的音视频对在语义上天然一致:如果视频分支正在生成”篝火”,音频分支的跨模态注意力就会把火焰的闪烁节奏传过去,让爆裂声的密度跟着画面走。

上图是耦合去噪的示意:第 t 步的音频状态和视频状态同时进入两个分支,各自预测第 t−1 步的状态,箭头在两个模态之间来回穿插,表示条件关系不是单向的。这种结构的代价是每一步都要跑两套网络,即使下游只需要音频,训练时也必须把视频分支一起算。
MM-UNet:两个 U-Net 加跨模态块
具体实现上,MM-Diffusion 用一个”耦合 U-Net”(MM-UNet):视频分支是处理 16×3×64×64 张量的 2D 卷积加时间维 1D 卷积,音频分支是处理 1×25600 波形张量的一维空洞卷积。两个分支各有四个尺度,每个尺度堆叠两个多模态块(MM-Block)和一个下采样或上采样块。基础耦合 U-Net 共 115.13M 参数,后面再接一个 311.03M 参数的超分模型,把 64×64 的视频放大到 256×256。

上图左侧是 MM-UNet 的整体结构:音频编码器与视频编码器并行下采样,每个尺度上通过 MM-Block 交换信息,最后各自解码。右侧是 MM-Block 的内部:GroupNorm、SiLU、一维空洞卷积(音频)或一维时间卷积加二维卷积(视频),步数嵌入通过 scale 与 shift 注入,随后是一维加二维的自注意力,最后是随机移位多模态注意力(RS-MMA)。可以看到跨模态信息只在部分尺度上交换——论文只在第 2、3、4 个尺度上启用视频注意力与跨模态注意力,第 1 个尺度分辨率最高、序列最长,放跨模态注意力的成本不划算。
RS-MMA:为什么跨模态注意力要随机移位
最直接的跨模态注意力会让每个音频时间格 attend 到所有视频帧,计算量随帧数平方增长;而且相邻帧的内容高度冗余,全注意力的大部分权重落在无信息量的位置上。MM-Diffusion 提出随机移位多模态注意力(Random-Shift based Multi-Modal Attention,RS-MMA),分三步构造注意力:
第一步,把音频潜序列沿视频帧的时间步切成 F 段,每段形状为 Cl×Tl/F,第 i 段记作 ai,对应第 i 帧的时间范围。
第二步,设定一个远小于 F 的窗口大小 S,再取一个随机移位量 R∈[0,F−S]。第 i 段音频关注的视频片段从第 fs 帧到第 fe 帧,其中
fs=(i+R)modF,fe=(i+R+S)modF第三步,只在这 S 帧的窗口内计算音频段到视频段的注意力权重。窗口大小随尺度变化,第 2、3、4 个尺度分别取 1、4、8。
随机移位的作用有两层。一层是效率:每个音频段只和 S 帧交互,复杂度从 O(F2) 降到 O(F⋅S)。另一层是正则化:如果移位量固定为 0,模型会学到”第 i 段音频永远对应第 i 帧”的位置捷径,一旦推理时的帧率或切分方式变化,这个捷径就失效。随机移位让同一段音频在不同训练步里看到不同邻域的视频帧,模型必须根据内容而不是位置来判断该关注哪一段。论文的消融显示,去掉随机移位后音频质量下降;窗口尺寸从 2 增大到 4 时指标持续改善,最终按尺度自适应取 1、4、8 的组合最好。
这里有一个值得注意的设计权衡:窗口限制了跨模态注意力的时间跨度,音频段只能看到邻近的几帧。对于”画面里同时有火和风”这种需要全局语义的场景,局部窗口可能不够;但对于 Foley 这种以局部事件为主的任务,邻近帧恰好包含决定声音的关键信息,而全注意力带来的全局混合反而会稀释时间定位。
训练与推理的实际形态
MM-Diffusion 在 Landscape(自然景观)、AIST++(舞蹈)和 AudioSet(开放域事件)上训练。扩散步数 T=1000,采用线性噪声调度和噪声预测目标,默认用 DPM-Solver 采样 25 步。视频规格是 16 帧、10 fps、64×64(超分后 256×256),音频是 16 kHz、1.6 秒的单声道波形,两个模态的时长严格对齐到 1.6 秒。
评估用 FVD(视频生成质量)、FAD(音频生成质量)、KVD 与 IBD(跨模态一致性),另外做了 1 万票的图灵测试。联合生成的结果在 Landscape 和 AIST++ 上都取得了当时最好的 FVD 与 FAD。论文还展示了零样本条件生成:给定视频,只采音频分支,能得到与画面大致匹配的声音。
从推理系统的角度看,这条路线有一个结构性成本:耦合去噪要求两个分支同时运行,每一步的计算量是音频分支加视频分支加跨模态注意力。如果产品只需要音频,视频分支的计算纯属浪费;而如果为了提高音频质量去加大视频分支,浪费会进一步放大。这正是后续专门做 V2A 的模型放弃联合生成、改成”视频编码一次、音频扩散 N 步”的原因。联合生成适合需要成对输出的场景(比如生成式世界模型里的带声视频),不适合把 V2A 当成配音工具的场景。
路线二:Diff-Foley——CAVP 对齐加潜扩散
Diff-Foley 由清华大学交叉信息研究院在 2023 年提出,是第一条把”音视频对比预训练”和”潜扩散”组合起来的 V2A 模型。它的结构可以概括成三段:先用 CAVP 把视频编码成时间对齐的特征序列,再用潜扩散在 mel 潜空间里去噪,最后用双重引导把采样往”音质好”和”对齐准”两个方向同时推。

上图把两个训练阶段画在了一起:左侧是 CAVP 阶段,音频频谱与视频帧分别编码后做对比学习,目标函数同时包含语义与时间两项;右侧是 LDM 阶段,mel 频谱经自编码器压到潜空间,扩散 U-Net 以 CAVP 对齐后的视频特征为条件做去噪。推理时只需要右侧这条链路:视频过一遍 CAVP 视频编码器,mel 潜变量从高斯噪声开始,经 U-Net 若干步去噪后解码成频谱,再交给声码器。
条件注入的具体通路
Diff-Foley 把 CAVP 视频特征投影到 C′=768 维,加上位置编码后作为交叉注意力的 key 和 value。交叉注意力插在 U-Net 的下采样率为 1、2、4 的三层上,query 来自当前层的音频潜特征。这个安排有明确的考虑:下采样率 1 的层时间分辨率最高,负责把事件定位到具体时刻;下采样率 4 的层时间分辨率低但感受野大,负责把握整体的声音场景。三层都插,等于让模型在多个时间尺度上读取视觉条件。
U-Net 骨干沿用 SD-V1.4:四个编码块、一个中间块、四个解码块,噪声调度也是 SD-V1.4 的 1000 步。论文给出了三个规模:Diff-Foley-S 335M、Diff-Foley-M 553M、Diff-Foley-L 859M 参数,主要实验用最大的配置。mel 侧使用 128 个 mel 通道、16 kHz 采样、帧移 256,生成 8 秒音频;视觉侧降到 4 fps,8 秒 32 帧,每帧 224×224。
Temporal Split & Merge:用拼接制造时间边界
V2A 的训练数据规模远小于图文数据,音视频对的高质量样本尤其稀缺。Diff-Foley 提出一种时间增广:把一段视频从中间切开,前半段取自样本 A,后半段取自样本 B,音频也做同样的拼接,得到一条”前半段是 A 的声音、后半段是 B 的声音”的合成样本。
这个操作的巧妙之处在于,它在不引入新数据的情况下制造了大量”声音必须切换”的时间边界。模型如果只学全局语义,拼接处的音频会混在一起;要正确生成,它必须在边界附近迅速改变条件响应。这相当于给同步性加了一个免费的监督信号,而且边界的时刻是已知的,模型无法通过平滑来蒙混。论文的消融显示,加入这项增广后对齐指标明显提升。
双重引导:CFG 加对齐分类器引导
扩散模型的采样质量可以用分类器无关引导(Classifier-Free Guidance,CFG)提升。标准的 CFG 在每步同时算一次有条件预测和一次无条件预测,然后外推:
ϵ^θ(zt,c)=ϵθ(zt,∅)+ω(ϵθ(zt,c)−ϵθ(zt,∅))其中 c 是条件(这里是 CAVP 视频特征),∅ 是空条件,ω 是引导强度。Diff-Foley 用 ω=4.5。CFG 推的是”更像条件所描述的东西”,但它只保证语义层面的匹配,不保证时间对齐——条件里已经包含了时间信息,可 CFG 的外推方向是整条潜序列一起动的,不会专门修正错位。
Diff-Foley 的第二个引导项来自 CAVP 模型本身。CAVP 的音频编码器和视频编码器能给出一个音画相似度分数,把这个分数对当前潜变量求梯度,就得到一个指向”更对齐”方向的修正项:
ϵ^=ϵ^CFG+γ∇ztSCAVP(D(zt),Ev)其中 D(zt) 是把当前潜变量解码成 mel 的操作,SCAVP 是 CAVP 的音画相似度,γ 是引导强度,实验取 50。这个项的计算代价不低:每一步都要把潜变量解码、过一遍音频编码器、再反向求梯度。所以它只在 25 步的采样里使用,靠较大的 γ 让每一步的修正足够强。
两项引导合起来就是论文所说的 double guidance。效果上,CFG 负责音质和语义,对齐引导负责时间定位。论文报告在 VGGSound 上,Diff-Foley 的 IS 从基线 SpecVQGAN 的 30.01 提升到 62.37,对齐准确率(Align Acc)达到 94.05%,而 Im2Wav 只有 67.40%。推理速度上,论文报告 25 步 DPM-Solver、批大小 64 时平均每个样本 0.38 秒,对比 Im2Wav 的 8192 步自回归采样,差距是数量级的。需要说明口径差异:这里的批大小是 64,而 Frieren 附录的耗时表是单张 RTX-4090、批大小 1,两组数字不能直接相除比较。
这组数字里最值得关注的是 4 fps 这个条件。基线方法用 21.5 或 30 fps 的视觉特征,对齐准确率反而更低,说明同步性不取决于喂进去多少帧,而取决于特征是否保留了时间结构。CAVP 的时间对比损失让 4 fps 的特征也能定位事件,这是”表征质量优于输入密度”的一个直接证据。
Diff-Foley 还在 EPIC-Kitchens 上做了下游微调实验,验证预训练的 V2A 模型可以通过少量领域数据适配到厨房场景。这个结果对工程落地有实际意义:通用模型在特定素材上往往音色不对,微调比从头训练便宜得多。
路线三:Frieren——整流流匹配替换扩散
Frieren 由浙江大学团队在 2024 年 6 月提出,论文标题是 “Efficient Video-to-Audio Generation Network with Rectified Flow Matching”。它要解决的问题很直接:Diff-Foley 的 25 步 DPM-Solver 加双重引导在质量上够用,但每步的 U-Net 前向加上对齐梯度代价不小,配音流水线里几百个片段叠加起来,延迟不可接受。Frieren 的思路是用整流流匹配(Rectified Flow Matching,RFM)替换得分扩散的采样,并且把整个生成链路压到”一次条件编码 + 几步 ODE 求解 + 一次声码器”。
整流流:用直线连接噪声与数据
扩散模型的反向过程是一条弯曲的概率流:从高斯噪声出发,经过上千步小步长去噪,才走到数据。DDIM 和 DPM-Solver 把这条路径用数值积分缩短,但路径本身的弯曲没有改变,步数压到个位数时误差就会明显。
整流流换了一个训练目标:学习一个从 π0(噪声分布)到 π1(数据分布)的向量场 v(x,t),使得沿这个场积分的轨迹近似是一条直线。最简单的情形下,给定一个噪声样本 x0∼π0 和一个数据样本 x1∼π1,线性插值得到
xt=(1−t)x0+tx1,t∈[0,1]这条插值路径的瞬时速度对 t 求导就是 x1−x0,是一个常数向量,与 t 无关。于是训练目标可以写成回归这个常数速度:
LRFM=Et∼p(t),x0,x1[∥vθ(xt,t)−(x1−x0)∥2]其中 vθ 是待训练的网络,xt 是线性插值得到的中间样本,p(t) 是时间采样分布。由于路径是直的,采样时可以沿 vθ 的方向用大步长欧拉积分,几步就能走到终点;理论上一到两步就能得到可用的样本。
线性插值路径本身是直的,但网络是在所有噪声-数据对上拟合条件期望 vθ(xt,t)=E[x1−x0∣xt],不同对的连线在同一个点上可能交叉,交叉处拟合出来的是平均方向,积分轨迹因此会弯。所以只做一遍 RFM 训练,采样轨迹仍然可能弯曲;需要 “reflow”(重流)来拉直。
模型架构:非自回归前馈 Transformer 加通道拼接
Frieren 的条件通路和 Diff-Foley 不同:它不做交叉注意力,而是把视觉特征与音频潜变量沿通道维直接拼接,一起送进一个前馈 Transformer 主干。这个设计的前提是两者的时间维已经对齐——长度调节器把 4 fps 的视觉特征复制到潜序列的每个时间格上,于是第 i 个位置同时有音频潜值和对应的视觉特征,拼接后的通道数是 Caudio+Cvisual。

上图 (a) 是总体结构:左侧的视觉编码器(冻结参数)提取帧级特征,经长度调节器复制到音频潜时间轴,与音频潜变量 a 和时间步 t 拼接后进入向量场估计器;估计器输出的向量场 v 用于 ODE 积分。(b) 是向量场估计器的网络:Conv1D 加 GroupNorm 的输入投影、正弦位置编码、若干前馈 Transformer 块。(c) 是前馈 Transformer 块的内部:LayerNorm、自注意力、卷积模块(即前馈网络的卷积式替代),这个结构脱胎于潜扩散的空间 Transformer,只是把二维卷积换成一维,与 CosyVoice 2 这类流匹配语音模型的卷积主干在设计上一脉相承,可参考站内 CosyVoice 2 架构拆解。
选择通道拼接而不是交叉注意力,有三点考虑。第一,时间维已经精确对齐,交叉注意力要解决的”query 该看哪一段 key”在这个设定下几乎不需要,通道拼接更省。第二,拼接之后的自注意力在本地序列上运行,每个位置能直接看到自己的视觉特征,时序信息不会在注意力权重里被稀释。第三,自注意力和卷积模块都是均匀的计算,方便用 CUDA 内核高效实现,不需要为稀疏条件单独写算子。
时间重加权与 CFG
RFM 的原始目标在 t∈[0,1] 上均匀采样。Frieren 指出这个采样方式有偏:路径两端的位置离噪声或数据分布很近,速度方向好回归;路径中段离两端都远,所有噪声-数据对的连线在这里交叉得最厉害,拟合出来的是平均方向,也是误差最大的区域。因此它给中段时间步加权,权重函数取对数正态形式:
w(t)=2π1⋅t(1−t)1exp(−2(lnt−ln(1−t))2)分母的 t(1−t) 让权重在两端趋于无穷,指数项在 t=0.5 处取最大值,两者相乘后权重集中在中间。直观地说,这相当于在训练时对中段时间步过采样,把有限的训练步数花在最难拟合的区间上。
推理时仍然需要 CFG。Frieren 在训练中把条件序列按 0.2 的概率替换成全零张量——置零而不是删除整条序列,因为序列长度必须保持不变。采样时用带引导的向量场外推:
vextCFG(x,t∣c)=γvheta(x,t∣c)+(1−γ)vheta(x,t∣varnothing)其中 c 是调节后的视觉特征序列,γ 是引导强度。与扩散的 CFG 相比,这里外推的是向量场而不是噪声预测,形式一致、语义相同。差别在于整流流的轨迹是直的,CFG 外推产生的偏移也沿着方向发生,不会像弯曲轨迹那样在中间步被反复放大。
条件的时间粒度比内容更重要
Frieren 的消融里有一个结论对整条任务线都有指导意义。它对比了两种视觉特征:CAVP,以及 MAViL——一个用掩码重建加跨模态与模态内对比学习训练的音视频表征。MAViL 的语义信息应该更丰富,但它在时间维上有卷积下采样,同样输入 4 fps 视频时,特征的有效帧率只有 2 fps。结果是 MAViL 版本在音质和多样性指标上略好(FD、IS、KL、FAD 的差距在 0.06 到 0.25 之间),但对齐准确率下降 7.05%。
这个结果给出两条判断:在较低的帧率下,特征的时间分辨率而不是语义内容,更容易成为同步性的瓶颈;相对于提高输入视频帧率,视觉特征的语义与鲁棒性对音质更关键。用通道拼接这种”硬对齐”的架构把第一条约束放大了——每个潜时间格读到的视觉特征就是那 250 毫秒内的信息,特征一旦在时间维上被降采样,拼接就把错位固化进了网络。交叉注意力可以在一定程度上容忍条件序列与目标的时间粒度不一致,但代价是更多参数和更多计算。
重流与一步蒸馏
重流的思想是用第一轮训练得到的模型生成配对 (x0,x^1),其中 x^1 是模型从 x0 出发沿 ODE 积出来的终点。这对样本本身是模型轨迹上的两个端点,用它们重新做一次线性插值训练,网络拟合的是模型自己的轨迹,而模型轨迹在第二轮的插值监督下被进一步拉直。重流可以迭代多次,每次轨迹都会更接近直线。
一步蒸馏的目标更激进:让网络直接从噪声预测数据,一步到位。标准做法是蒸馏一个固定采样步数下的 ODE 轨迹终点,蒸馏时把引导项并入教师模型的向量场——Frieren 的附录里称之为”带引导向量场的蒸馏”。这样蒸馏出来的学生模型不需要在推理时再做 CFG 的两次前向,一次前向就包含引导后的方向。
论文用单张 RTX-4090、批大小 1 测得的每样本推理时间,能说明这条链路的收益:SpecVQGAN 3.936 秒,Im2Wav 333.246 秒,Diff-Foley 25 步 2.104 秒,Frieren 25 步 0.288 秒;加上重流后 5 步采样 0.064 秒,一步蒸馏后 0.031 秒。Frieren 25 步相对 Diff-Foley 25 步快 7.3 倍,5 步与 1 步相对自身的 25 步分别加速 4.5 倍和 9.3 倍。这里的差距不只来自采样步数,架构本身(非自回归前馈 Transformer、参数量更小)也贡献了相当一部分。
三条路线的对照:条件怎么进、采样怎么出
三条路线的网络形状差异很大,把关键设计并排放在一张表里,各自的位置就清楚了。
| 维度 | MM-Diffusion | Diff-Foley | Frieren |
|---|---|---|---|
| 生成目标 | 视频 + 音频联合分布 | 仅音频 | 仅音频 |
| 音频表示 | 16 kHz 波形,1.6 s | mel 潜空间,8 s | mel 潜空间,8 s |
| 视觉条件 | 视频分支的中间特征 | CAVP 特征,交叉注意力 | CAVP 特征,通道拼接 |
| 条件时间粒度 | 10 fps,16 帧 | 4 fps,32 帧 | 4 fps,32 帧,复制到潜时间轴 |
| 采样机制 | DDPM / DPM-Solver,25 步 | DDPM(SD-V1.4 调度)+ 双重引导,25 步 | 整流流 ODE,可压到 5 步或 1 步 |
| 额外计算 | 每步跑视频分支 | 每步解码 + CAVP 梯度 | 步骤少,主干小 |
| 主要同步手段 | 联合去噪 + RS-MMA | CAVP 时间对比 + 对齐引导 | 时间对齐条件 + 通道拼接 |
| 音质上限 | 波形建模,受卷积感受野约束 | 自编码器重建误差 | 自编码器重建误差 |
| 代表延迟量级 | 每段两分支 × 25 步 | 每段 25 步 + 引导开销 | 每段 1 到 5 步 |
这张表里最关键的一列是”视觉条件”和”条件时间粒度”。三条路线的同步能力,最终都由这一列决定:
MM-Diffusion 的条件是视频分支的中间特征,粒度是 10 fps 的 16 帧,跨模态注意力只在部分尺度上启用,时间分辨率随下采样率递减。它的同步能力来自”两个模态一起生成”这个结构本身,而不是条件特征的精确度。代价是效率,以及它不适合纯 V2A 场景。
Diff-Foley 的条件是 CAVP 特征,4 fps 32 帧,交叉注意力在下采样率 1、2、4 三层读取。它的同步能力来自 CAVP 的时间对比损失,以及推理时用 CAVP 相似度做的对齐引导。代价是每步的引导开销,以及一个额外前提——CAVP 编码器必须在推理时和训练时保持一致。
Frieren 的条件同样是 CAVP 特征,但通过长度调节器复制到潜序列的每个时间格,再用通道拼接喂进主干。它的同步能力来自”每个位置精确对齐自己的视觉特征”,没有注意力去重新分配条件。代价是条件必须先在时间维上准确,任何降采样都会直接变成错位。
从”条件如何被使用”这个角度,三者分别代表三种设计:融合(联合生成)、检索(注意力从条件里挑信息)、粘贴(按时间位置直接拼接)。融合最强但最贵,检索灵活但需要学习注意力分配,粘贴最便宜但要求条件已经对齐。后续工作在检索与粘贴之间继续细分,后文会看到按帧级同步的显式模块和更长的上下文处理。
同步性与音质:怎么量、为什么会失败
V2A 的评测比 T2I 复杂,因为它的两个目标——音质与同步——经常此消彼长。
音质侧的指标借用音频生成的标准工具。Fréchet distance(FD)和 Fréchet audio distance(FAD)把生成音频的分布与真实音频的分布做比较,用预训练特征(PANNs、PaSST、VGGish 等)统计均值与协方差后算两个高斯分布之间的距离。Inception score(IS)衡量分布质量,KL divergence 衡量与其他音频类别的区分度。这些指标的共性是”看整体分布像不像”,不直接关心声音是否对上了画面。
同步侧的指标需要一个音画相似度模型来充当裁判。VGGSound 相关的工作普遍用 CAVP 这一类音画对比模型,把生成的音频和输入视频送进编码器,取时间维对齐后相似度的最大值(max)或平均值(avg),作为对齐准确率(Align Acc)。Diff-Foley 报告的 94.05%、Frieren 报告的 97.22%,都是这个口径下的数字。这里有一个方法论问题:这个裁判本身就是训练中在用的模型,用同一个模型评估自己的产物,存在循环论证的风险;真正可靠的同步评测需要独立的人类主观打分。
主观打分用 Likert 量表,通常包含音质、语义、对齐三个维度。Frieren 和 Diff-Foley 都报告了主观实验,结论与客观指标大体一致,但差距没有客观指标那么夸张。
同步失败的典型形态可以按时间尺度分类:
毫秒级错位来自条件粒度。4 fps 条件下,模型只能知道”这 250 毫秒内发生了事件”,具体在哪一帧发生它无从得知。玻璃碎裂、开关灯、拍手这类瞬态事件,对齐误差会集中在 0 到 250 毫秒之间,主观上已经能感知。
百毫秒级错位来自注意力分配。Diff-Foley 的交叉注意力让每个音频位置自己决定读取哪一帧的条件,相邻位置读到的可能是同一帧,也可能是差一帧的。模型训练时学到的最优策略,往往是把注意力分散到窗口内的多帧上,让生成的音频”整体上”对得上,但具体事件被平滑。
段级错位来自时间维压缩。MAViL 那组消融说明了这一点:特征帧率从 4 fps 降到 2 fps,对齐准确率下降 7 个百分点,音质几乎不变。只要条件的时间分辨率在某个环节被丢掉,无论网络多强,错位都会固化。
音质的失败形态则集中在高频与瞬态上。mel 自编码器和声码器会把高于 mel 通道能表达的细节丢掉,玻璃、金属、木头这些依靠高频瞬态区分材质的声音最容易失真。这也是为什么提高采样率对有高频瞬态的素材有效——采样率直接决定了模型能表达的频率上限,16 kHz 的奈奎斯特频率只有 8 kHz。
推理账:一次 V2A 请求的每一步算在哪
把三条路线的延迟拆开,可以看到每一步计算落在哪里。以 Frieren 的 8 秒、4 fps、32 帧输入为例,一次请求包含四个阶段:
视觉编码。32 帧、224×224 的 RGB 输入,过一遍冻结的 CAVP 视频编码器。这是整条链路里唯一的”按帧数线性”的计算,帧数越多成本越高。输出是 32 个特征向量(CAVP 在 Diff-Foley 中投影到 768 维),再过长度调节器复制到潜序列的每个时间格。
音频 ODE 求解。潜序列长度由自编码器的时间压缩比决定,比 62.5 帧每秒的 mel 序列短,每一步要对整条序列跑一遍向量场估计器。Frieren 的估计器是 4 层、隐藏维 576 的小 Transformer,单步成本远低于 Diff-Foley 的 U-Net(数百兆参数)。步数从 25 降到 5 到 1,单段从 0.064 秒到 0.031 秒,这里的数字是在 RTX-4090 上测的。
mel 解码。把潜序列解码回 mel 频谱,一次自编码器解码器前向,成本远低于主干。
声码器。BigVGAN 把 mel 一次前向转成 8 秒波形。如果按 16 kHz 算,输出 128000 个采样点;按 44.1 kHz 算,输出 352800 个点。声码器的延迟与输出长度成正比,而且它是上采样网络,计算量集中在最后几层。端到端计时必须把它计入,只统计采样耗时会低估实际延迟。

上图是 Frieren 的采样过程示意:左下端的 t=0 对应标准高斯噪声,右上端的 t=1 对应 mel 频谱潜变量。中间的箭头是 ODE 求解器沿向量场逐步积分,每一步的步长由求解器决定。对比扩散模型的弯曲轨迹,整流流的轨迹接近直线,同样的目标精度可以用更少的大步长完成——这就是 25 步降到 5 步甚至 1 步在几何上的原因,而不是单纯把噪声预测换成了速度预测。
工程部署时还有三项容易被忽略的开销:
批处理。多条视频可以拼成一个批次一起过视觉编码器和 ODE 求解,视觉编码器是卷积骨干,批处理几乎线性摊销;ODE 求解的 Transformer 是序列模型,批处理会拉长单步时间,但整体吞吐仍会提升。Diff-Foley 的对比里 64 个样本一个批次平均 0.38 秒每样本,说明批处理是必要的。
短序列的显存与带宽。8 秒音频的潜序列其实很短,在 GPU 上这类工作负载往往是带宽受限而不是算力受限:每步要读写整个潜序列和视觉特征的拼接结果,序列短到一定程度后,内核启动开销和读写开销占比上升。Frieren 选小模型、少步数,本质上是在降低这类固定开销。
长视频切分。现有的基础模型大多只处理固定长度的片段(Diff-Foley 与 Frieren 都是 8 秒)。一条 2 分钟的片子要切成若干段,段与段之间的边界必须做声音衔接:前一段的尾音不能硬切,后一段的起音不能突兀。常用的做法是让相邻片段有 0.5 到 1 秒重叠,生成后在重叠区做交叉淡化,代价是重复计算。更彻底的做法是让模型对长上下文建模,这已经超出了基础架构的范围。
最新进展与未解决的问题
在三条基础路线之后,这条任务线的主要进展沿着四个方向展开,另有一处与语音生成的交叉。
更大的训练数据与 44.1 kHz
MMAudio 由伊利诺伊大学厄巴纳-香槟分校与索尼在 2024 年 12 月提出,把 V2A 模型的训练从”仅有音视频对”扩展到”音视频对加大规模文本音频对”的联合训练,同时提供 16 kHz 与 44.1 kHz 两个采样率、157M 到 1.03B 三档规模,其中 157M 的最小模型已经在公开模型中做到当时最好的 V2A 音质。它的条件同步模块在潜空间里按帧对齐视频条件与音频潜变量,把”条件的时间结构”这一原则落到更显式的位置。联合训练的结论是:引入文本音频数据并没有损害单模态性能,模型在纯 T2A 上也能与专门训练的模型竞争。
44.1 kHz 的意义在音质上有明确体现。16 kHz 的奈奎斯特频率只有 8 kHz,许多材质声的能量集中在 4 到 16 kHz 之间,16 kHz 采样直接把这些信息截掉。用 44.1 kHz 重新训练,意味着潜序列长度增加、声码器输出增加、每步计算量增加,是对”音质 vs 效率”的又一次取舍。
帧级同步的显式对齐
另一条线不再依赖”对比特征”这一间接手段,而是直接把时间对齐做成网络结构的一部分。这类方法的核心假设是:音画同步可以在潜空间按帧计算,而不必等到特征层面再对比。
早期可以追溯到 Seeing and Hearing 这一类工作,它们用跨模态注意力在帧级视觉特征上做细化;之后的 V2A-Mapper、V-AURA 等在同步度量上继续改进。MMAudio 的条件同步模块也属于这一类思路。共同点是:同步不是被当作”隐含在特征里”的东西,而是被当作可以在架构里被显式施加约束的对象。
对工程的意义在于:显式同步模块通常带来额外的每步计算,但它把”对齐”从隐含的学习目标变成一个可以直接观测、直接约束的中间量,调参和排错的成本随之下降。
长视频与流式生成
固定 8 秒片段的限制在长视频里很明显。LoVA 一类的长视频 V2A 工作尝试跨片段保持声音的连续性:前一段的环境声(比如雨、风、海浪)应该延续到后一段,而事件声则应随画面切换。这要求模型有跨片段的状态——要么把前一段的潜变量作为后一段的初始条件,要么让条件特征包含更长的历史窗口。
流式生成则把目标放在”边看边配”:视频仍在播放,音频已经在生成。这要求模型采用因果结构——只读取已经出现的帧,输出已经发生的时刻对应的声音。因果结构对同步是天然友好的:每个时刻只能看到过去,不需要预测未来的声音。代价是它放弃了非因果结构能利用的全局上下文,训练与推理都需要重新设计。
多模态联合生成的回潮
联合音视频生成并没有退出舞台。生成式世界模型需要”带声的画面”,文本到视频模型需要自动生成同步音轨,这两类需求都把 MM-Diffusion 的思路重新搬了出来。区别在于现在的视频主干更大、条件更复杂(文本、构图、镜头运动),音轨生成需要挂到现有的视频模型上,而不是和视频分支一起从零训练。常见的做法是”视频分支先做,音频分支以视频的中间特征为条件”——这本质上是把 MM-Diffusion 的耦合去噪改造成单向条件,回到 Diff-Foley 的形态,但视频分支从联合训练变成了预训练模型。
仍然没有解决的问题集中在三个地方:
同步的评测本身不可靠。大部分同步指标依赖与训练同源的音画模型,评估者与被评估者共享偏差。人类主观实验难以规模化,且不同人对同步的敏感度差异很大。
长上下文的连续性。跨片段的环境声延续、事件声的因果衔接、静音段的正确处理,都还没有统一的架构方案。固定长度片段加交叉淡化是工程折中,不是原理上的解决。
可控性。V2A 生成的音频目前只能通过画面来控制,缺少类似文本提示词那样的细粒度干预手段。用户想”让雨声更大一点”、“去掉脚步”,目前只能通过修改视频或后处理完成。
与语音生成的关系
这条任务线与语音合成、音频编解码有直接的架构关系。mel 潜空间加声码器的分工在两者之间是共享的;整流流匹配也是 CosyVoice 2 这类流式语音合成模型采用的采样方式,可参考站内音频生成的离散 token 路线了解另一条完全不同的路线——把波形压成离散 token 再做自回归或掩码生成。两条路线在推理账上的差别很大:连续潜空间路线是”几步 ODE 加一次声码器”,离散 token 路线是”逐步自回归解码加一次声码器”,前者延迟低、后者对长序列更稳。V2A 目前主要在连续潜空间这条线上推进。
小结
视频转音频生成的基础架构可以归纳成三句话:
第一,音频表示决定了成本结构。波形路线最直接但序列最长,mel 潜空间路线把相位交给声码器、把扩散压到潜空间,是质量与效率之间的主流折中;采样率越高,能表达的材质细节越多,成本也越高。
第二,视觉条件的时间粒度决定了同步上限。CAVP 用语义对比加时间对比训练出同时具备判别力和定位力的特征;4 fps 已经够用,但任何进一步的降采样都会直接损害对齐,MAViL 与 CAVP 的对比清楚地说明了这一点。
第三,条件的使用方式决定了架构形态。联合去噪(MM-Diffusion)最强、最贵;交叉注意力检索(Diff-Foley)灵活、需要学习;通道拼接粘贴(Frieren)最便宜、要求条件精确对齐。整流流把采样步数从 25 压到 5 甚至 1,让”粘贴加小主干”在效率上有了实际价值。
对推理系统而言,V2A 的端到端延迟由四段组成:视觉编码、ODE 求解、mel 解码、声码器。前三段可以靠小模型、少步数和批处理压下来,声码器这一段是上采样网络,成本随输出长度线性增长,在长音频场景里会成为主要瓶颈。评估时应该按整条链路计时,而不是只引用论文里的采样时间。
参考资料
- MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation(CVPR 2023)
- Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models
- Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching(NeurIPS 2024)
- MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis(CVPR 2025)
- Taming Visually Guided Sound Generation(SpecVQGAN)
- VGGSound: A Large-scale Audio-Visual Dataset
- MM-Diffusion 官方代码仓库
- Frieren 项目页与音频样例
- Diff-Foley 项目页
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



