歌曲生成模型架构入门:从乐谱驱动的歌声合成到歌词直出整首歌

10973 字
55 分钟
歌曲生成模型架构入门:从乐谱驱动的歌声合成到歌词直出整首歌

背景:一首歌比一段语音多出了什么

纯语音生成把「说」做对了:音素、韵律、音色、停顿。歌曲生成要在同一套声学基础上再多三件事——音高随音符被精确控制、歌词按节拍对齐到音符、伴奏与人声共享同一个时间轴与调性。这三件事让歌曲生成从「语音模型的延伸」变成一个独立的多模态问题:它的输入同时包含符号(乐谱、音高、时长、和弦)与文本(歌词),输出是一段几十秒到几分钟、多轨混合的音频。

本文把工业界的基础架构分成两类讲:一类是符号驱动,乐谱(音高、时长)由外部给出,模型只需在约束下「唱出来」;另一类是把整首歌拆成 token 或潜变量、用一条大模型直接生成整首歌的文本直出,其中又分「离散分词 + 自回归」与「连续潜空间 + 扩散」两条。三套架构的推理形态完全不同,文末把它们折算到同一个时间账本上对比。

下面的章节从符号驱动路线开始,因为它是理解「歌曲里到底有什么约束」的起点:只有先看清乐谱如何被编码进声学模型,才能理解后面直出路线为什么要重新设计歌词对齐。

问题定义:歌曲生成难在三个耦合层

语音合成(TTS)的输入是文字,输出是单说话人的连续语音。歌曲生成(song generation)的输出也是音频,但输入、输出与评价标准都换了:

维度语音合成歌声合成(SVS)歌词到整首歌
输入文本文本 + 乐谱(音高序列 + 每个音素的时长)歌词 + 风格描述(有时加参考音频)
输出干净人声干净人声(通常不含伴奏)人声与伴奏混合的多轨音频
控制粒度韵律、停顿精确到每个音符的音高与长度只控制「唱什么词、什么风格」
对齐难度文本与语音在短时间内连续对应音符与音素一一绑定,天然对齐歌词与旋律无人给出,需模型自行决定

三类任务的核心难点可以归为三点。

第一,音高与时长是外部约束。 在乐谱驱动的歌声合成中,给定音乐符号序列 S=(l1,…,lL)S=(l_1,\dots,l_L),其中每个元素携带音素、音高、时长,模型必须产出与音符边界严格对齐的 mel 频谱。这意味着语言侧(音素、词)与音乐侧(音高、节奏)必须在同一条时间轴上融合,且融合点精确到帧。

第二,多轨信号的动态范围差异。 一首完整歌曲里人声与伴奏是两套能量与频谱分布完全不同的信号,人声往往被伴奏掩盖。YuE 团队用「分词后语言信息损失」(LLAT)量化了这一点:对同一段音频,分别用分词器重建混音和人声轨,再用 Whisper 转写,比较词错误率。在金属、流行等频谱密集的曲风中,混音轨的词错误率显著高于单独人声轨,音高变化越剧烈(音节调变方差 VAR 越低)差距越大。

第三,长程结构。 一首歌长达三到五分钟,需要段落的起承转合(intro、verse、chorus、bridge、outro),而歌词在整个时间轴上稀疏地出现:人声可能只在副歌进入,前奏和间奏没有歌词。传统 TTS 的单调对齐(monotonic alignment)假设在这里失效。

这三点分别对应符号路线、分词路线与扩散路线各自的架构回应,后面的章节逐个展开。

符号驱动路线:乐谱到人声的三段式流水线

工业界最早成功的路线是歌声合成(Singing Voice Synthesis,SVS)。它的流水线是三段:文本前端、声学模型、声码器。

第一段是文本前端(text frontend)。歌词先经过分词与注音(中文需要区分多音字,英文需要字母到音素 G2P 转换),得到音素序列;乐谱给出每个音符的音高(MIDI 音高号或 F0)与时长;两者按音节边界绑定成一个「音素—音高—时长」序列。中文数据集常用 pypinyin 注音,再用 MFA(Montreal Forced Aligner)在句子级别对齐后细化到音素级别。

第二段是声学模型(acoustic model),把符号序列变成声学特征。声学特征的经典选择是 80 维 mel 频谱,帧长与 hop 由采样率决定:DiffSinger 采用 24 kHz 采样率、512 点帧长、128 点 hop,即每 5.33 ms 一帧,帧率约 187.5 Hz。

第三段是声码器(vocoder),把 mel 频谱还原为波形。声码器的生成器设计可参考本站的 GAN 声码器架构拆解,这里不重复。

真正的架构分水岭在第二段:声学模型用什么生成方式。早期用 L1/L2 回归直接预测 mel,训练稳定但结果过度平滑,细节被抹平;后来改用 GAN 对抗训练,频谱细节回来了,但训练容易崩;再后来改用扩散模型,训练稳定性和细节质量同时拿到,代价是推理要迭代多步。DiffSinger 正是第三条路上的代表,它额外引入的浅层扩散(shallow diffusion)机制把「过度平滑」的简单模型和「细节丰富」的扩散模型在一次推理里拼起来,是理解符号路线推理账本的最佳切口。

乐谱编码器:把符号约束压进帧级条件

声学模型的条件是一个帧级序列 C∈RT×dC \in \mathbb{R}^{T \times d},其中 TT 是 mel 帧数。它由三部分组成:

  • 歌词编码器:音素 ID 查表得到 dd 维嵌入,再经过若干 Transformer 块得到上下文相关的语言隐状态 Hx∈RL×dH_x \in \mathbb{R}^{L \times d},其中 LL 是音素数。Transformer 在这里负责把跨音素的上下文(例如韵母对前一个声母的影响)编码进去。
  • 时长调节器(length regulator):把音素级序列按每个音素占用的帧数展开到帧级:Hx′=Repeat(Hx,dur)H_x' = \mathrm{Repeat}(H_x, dur)。这一步在 FastSpeech 系列里是固定操作,它保证音素与帧一一对应。
  • 音高编码器:每个帧对应的音高(F0 归一化后的值或 MIDI 音高号)查表或投影为 dd 维嵌入 HpH_p。

三者相加得到 C=Hx′+HpC = H_x' + H_p,即每个帧的隐藏状态同时知道「这一帧唱的是哪个音素」和「这一帧的音高」。

这里有一个容易忽略的设计点:音高嵌入与音素嵌入是相加而不是拼接。相加意味着两者共用同一个 dd 维空间,模型必须学会在这个空间里区分「这一段语言特征」与「这一段音高特征」。DeepSinger 之后的主流做法都是相加,因为它省掉了一个维度,且注意力层可以自然地让两者交互;代价是音高精度要求高时(例如大幅颤音),音高信息会被语言信息稀释。

DiffSinger 整体结构:乐谱条件经过辅助解码器与扩散去噪器,两个分支共享同一份条件

上图是 DiffSinger 的完整结构。乐谱条件被同时送进两个分支:一个是带 L1 损失的辅助解码器(输出的平滑 mel 记为 x^0\hat{x}_0),另一个是扩散去噪器(在每一步 tt 预测噪声)。步嵌入 tt 与乐谱条件在去噪器的每一层参与融合。两条分支共享同一个条件编码,这正是浅层扩散能够成立的前提:简单模型的输出和扩散模型的目标处于同一个条件空间里。

扩散去噪器:为什么是卷积而不是 Transformer

DiffSinger 的去噪器 gθg_\theta 输入第 tt 步的 mel 频谱 xtx_t 与条件,输出噪声 ϵ\epsilon 的预测。它的架构是非因果 WaveNet:20 层一维卷积,卷积核为 3,无膨胀,通道数 256,搭配残差与门控。

为什么不用 Transformer?在扩散去噪里,每一步输入都是整张 mel 频谱(长歌曲可能上千帧,每帧 80 维)。非因果卷积的感受野是 20×2=4020 \times 2 = 40 帧,约 213 ms,足以覆盖单个音符与相邻音符的过渡,并且计算量与帧数成线性关系。Transformer 的自注意力是 O(T2)O(T^2),对 187.5 Hz 帧率的长歌曲代价过大。后续把 Transformer 用于歌声合成的系统改为在潜空间上做去噪,序列长度被压缩,才让注意力变得可行。

去噪器的条件注入方式是门控与逐层相加,而不是 cross-attention:条件序列 CC 与步嵌入 ete_t 在每一层作为额外的卷积输入参与门控融合。这种设计的理由是扩散每一步都要重新注入条件,门控比注意力更便宜,且对多步重复调用更友好。

浅层扩散:从「平滑的骨架」起步

简单 L1 回归模型的问题在于过度平滑:它保住了频谱的「骨架」(共振峰的位置与包络),但去掉了帧间细微的噪声纹理,听起来发闷。扩散模型的问题在于从纯高斯噪声起步,前若干步只能生成粗糙的低频结构,真正决定细节的步数很少。

DiffSinger 的观察是:把简单模型输出的平滑 mel x^0\hat{x}_0 和真实 mel x0x_0 分别按加噪公式推到第 tt 步,当 tt 足够大时两条轨迹会相交:此时 q(xt∣x^0)q(x_t \mid \hat{x}_0) 与 q(xt∣x0)q(x_t \mid x_0) 已经难以区分,因为高斯噪声把两者的差异淹没。论文用一个分类器(边界预测网络)来测量「在第 tt 步能否区分二者」,找到最早不可区分的步数作为起点,记为 kk。

推理因此变成:

  1. 用简单解码器预测 x^0\hat{x}_0;
  2. 用闭式加噪公式把 x^0\hat{x}_0 推到第 kk 步,得到 xkx_k;
  3. 从 xkx_k 开始反向去噪 kk 步,得到最终 mel。

闭式加噪公式为:

xk=αˉk x^0+1−αˉk ϵ,ϵ∼N(0,I)x_k = \sqrt{\bar{\alpha}_k}\,\hat{x}_0 + \sqrt{1-\bar{\alpha}_k}\,\epsilon,\quad \epsilon\sim\mathcal{N}(0,I)

其中 αˉk=∏s=1k(1−βs)\bar{\alpha}_k = \prod_{s=1}^{k} (1-\beta_s) 是累积噪声系数,βs\beta_s 是第 ss 步的方差表。kk 越小意味着起点越接近真实数据,去噪步数越少。

DiffSinger 的扩散轨迹相交示意:平滑 mel 轨迹与真实 mel 轨迹在高噪声处相交

上图是浅层扩散的核心观察:左侧曲线是真实 mel x0x_0 在扩散过程中走向高斯噪声的轨迹,右侧是辅助解码器输出 x^0\hat{x}_0 的轨迹,它们在 t=kt=k 处相交。交点的意义是「在这个噪声水平上,两组样本已经无法被区分」,因此从 x^0\hat{x}_0 加工到 t=kt=k 得到的样本,可以当作 x0x_0 在 t=kt=k 时的一个合格替身,反向去噪由此开始。kk 由边界预测网络(一个判断「样本来自 x^0\hat{x}_0 还是 x0x_0」的二分类器)在验证集上自动确定,取 95% 样本刚好区分不开的最早步数。这个机制带来三个收益:

  • 推理步数减少:不再从 t=Tt=T 一路去噪,而是从 kk 开始,步数降为 kk;
  • 质量提升:起点来自平滑模型,骨架正确;去噪补充高频细节,消除了过度平滑;
  • 训练更轻:kk 以上的扩散步骤对输出几乎没有贡献,训练时可以直接丢弃。

需要强调的是,浅层扩散不是「模型融合」,它没有把两个模型的权重合并,而是把简单模型的输出当作扩散链的初始样本。这一视角在后续大量歌声合成系统里被沿用:先训练一个稳定但平滑的回归模型,再用扩散或流匹配修正细节。

另一条符号路线的分支:端到端声码化(VISinger)

上面的流水线把声学模型与声码器分开,mel 频谱是两者之间的接口。VISinger(2022 年发表于 ICASSP)把这层接口拿掉,直接输出波形,做法沿袭 VITS 的「VAE 后验编码器 + 归一化流先验 + 对抗解码器」三元结构,但针对歌声做了三处改动:

  • 帧级先验:语音端到端模型通常在音素级估计声学特征的均值与方差;歌声的音高、颤音、气声在同一音素内部变化剧烈,VISinger 在音素级分布之后接一个时长调节器与帧先验网络,把分布细化到帧级;
  • F0 预测器:把音高作为先验网络的额外引导,避免从后验中「猜」音高,颤音与高音的稳定性明显提升;
  • 时长预测改为音素到音符的时长比:先对乐谱音符做归一化,再让模型预测「一个音素占用该音符时长的比例」,这样旋律节奏改变时分包预测不必从头学。

为什么这条分支值得单独讲?它说明符号路线在推理形态上有两种选择:mel 接口分离式(声学模型 + 声码器,可分别训练、替换声码器)与端到端式(一次前向出波形,延迟低但不可部分替换)。分离式在水声码器快速迭代的年代更灵活,端到端式在高控制精度、低延迟的单句场景更优;两条路径至今都在被使用,差别不在生成质量的上限,而在工程的可组合性。

符号路线与文本直出路线的分界:乐谱是「已给出」还是「要自己生成」

符号驱动路线的所有难度,都源于乐谱是外部给定的:音高、时长、音节边界都被指定,模型只需要在这个约束下把符号「唱出来」。一旦去掉乐谱,模型就必须自己决定旋律与节奏,这个任务变成「歌词到整首歌」,符号路线那套三段式流水线就不再适用:

  • 没有音高与时长,就无法构造帧级条件序列 CC;
  • 没有帧级边界,就无法做时长调节器;
  • 输出包含伴奏,声学模型不再只处理人声。

剩余的两条工业界基础架构,本质上是在「如何重新引入结构先验」上做出不同的选择:

离散分词 + 自回归 LM连续潜空间 + 扩散/流匹配
代表YuE、SongGenDiffRhythm、ACE-Step
音频表示RVQ 码本 tokenVAE/DCAE 的连续潜变量
结构先验显式文本结构标签、双轨 token训练时随机的潜空间片段
长程建模需要处理长上下文与 RoPE 衰减一次前向即可看全首歌
推理形态逐 token 串行生成固定步数并行去噪
主要瓶颈序列长度与自回归串行去噪步数与长序列注意力

下面按「分词路线」与「潜空间路线」两条讲讲透,最后再合到一起做工程账本。

分词路线:把歌曲拆成多轨离散码本

分词路线沿用 GPT 式自回归:神经网络音频编解码器把波形压成离散 token,语言模型逐 token 预测。问题是歌曲是多轨信号,而 RVQ 编解码器为每帧给出多个码本层,两者维度叠在一起会导致序列极长且建模困难。SongGen 与 YuE 分别给出了混合模式与双轨模式的解法。

编解码器的帧结构

以 X-Codec 为例(YuE 与 SongGen 都采用):16 kHz 采样、50 Hz 帧率,12 层 RVQ 码本,每层码本大小 1024;YuE 实际只取前 8 层,因为更多层对质量提升不明显。

每帧的表示是一个码本层向量 (ct(0),ct(1),…,ct(M−1))(c^{(0)}_t, c^{(1)}_t, \dots, c^{(M-1)}_t),其中 ct(0)c^{(0)}_t 是语义丰富的第一层,后几层是声学残差。为什么第一层有语义?因为 X-Codec 在训练时把 HuBERT 自监督特征(100M 参数的语言语义表示)融合进编解码器的潜空间,第一层因此携带音素、旋律等高层信息。这一点对语言模型很关键:预测 c(0)c^{(0)} 等价于预测「这一帧唱的是什么、音高走向如何」,难度可控;而直接预测全部 MM 层,模型要在 1024^M 的输出空间里学习,收敛慢得多。

YuE:双轨 next-token prediction

标准自回归将 MM 层码本展平成一条序列,用链式法则分解联合分布:

p(x)=∏t=1T∏m=0M−1p ⁣(ct(m)∣c<t(⋅),ct(0),…,ct(m−1))p(x) = \prod_{t=1}^{T}\prod_{m=0}^{M-1} p\!\left(c^{(m)}_t \mid c^{(\cdot)}_{<t}, c^{(0)}_{t},\dots,c^{(m-1)}_{t}\right)

YuE 发现这样建模在歌曲任务上有两个问题。第一,一个 token 要同时表示人声和伴奏,而两者的动态完全不同:伴奏能量高、频谱稳定,人声稀疏、音高快速变化;模型会偏向更容易的伴奏,导致歌词不清。第二,序列长度是 T×MT \times M,长歌直接顶到上下文上限。

YuE 的双轨(Dual-NTP)方案是把每一帧拆成两个人声 token 与伴奏 token:

xt=(ct(0,v), ct(0,a))x_t = \left(c^{(0,v)}_t,\ c^{(0,a)}_t\right)

序列变成 c1(0,v),c1(0,a),c2(0,v),c2(0,a),…c^{(0,v)}_1, c^{(0,a)}_1, c^{(0,v)}_2, c^{(0,a)}_2,\dots,人声与伴奏在时间轴上逐帧交替。这样做的收益是:

  • 单一 token 不再同时承担两套动态,语言模型可以把「唱什么」与「伴奏怎么铺」分开建模;
  • 两个轨可以分别后处理与混音,工程上便于母带处理;
  • 在金属这类人声被严重掩盖的曲风里,训练损失显著低于标准 NTP。

代价是序列长度翻倍。YuE 用 Stage-2 来处理:Stage-1 语言模型只预测 8 层码本中的 codebook-0 双轨 token(论文的缩放实验覆盖 0.5B、2B 与 7B 三档);Stage-2 用另一个 1B 模型,在已知 codebook-0 的前提下预测其余 7 层残差,从而把「结构预测」与「音质预测」分到两个模型。Stage-2 的序列排列是「先放完整段 codebook-0,再逐帧放 8 层码本」,这样残差模型的每一步都能看到完整的语义布局。

YuE 两阶段框架:语义-声学融合编解码器、双轨语言模型与残差模型

上图是 YuE 的两阶段框架。最底部是文本分词器与音频分词器:歌词与元数据走 BPE,音频走 X-Codec 得到 8 层码本;Stage-1 语言模型在双轨 token 上做 next-token prediction,产出人声与伴奏各自的 codebook-0;Stage-2 语言模型在已知 codebook-0 的前提下逐帧补齐 7 层残差,再由解码器与上采样声码器还原到 44.1 kHz。图里两条并行支路(Vocal、Accompaniment)就是双轨设计在架构上的落点。

长上下文:结构标签与 RoPE 衰减

分词路线更难的问题是歌词跟随。如果只在序列开头放一段歌词,然后连续生成数分钟音频,条件在长距离上会失效。YuE 报告的量化结果:文本条件的影响在约 3K token 后开始衰减,6K token 后完全失效,即便预训练上下文是 16K。这个现象与 RoPE 的长程衰减直接相关:相对位置增大时注意力分数衰减,远距离的歌词条件被稀释。

单纯增大 RoPE 底数(10K 到 100K)或课程学习都不解决问题。YuE 的解法是利用音乐自身的段落结构:用结构分割工具把歌曲切成 14 段左右(多数段小于 30 秒),每段在文本里写一个标签(verse、chorus 等),再把「段标签 + 该段歌词 + 该段音频 token」交替排列:

inst, lyrics, [verse],⟨audio⟩, [chorus],⟨audio⟩,…\text{inst},\ \text{lyrics},\ [\text{verse}],\langle \text{audio} \rangle,\ [\text{chorus}],\langle \text{audio} \rangle,\dots

这个排列叫结构性渐进条件(Structural Progressive Conditioning)。它的作用是:每一段的新歌词都在它自己的音频开始前才出现,条件与目标的距离始终在一段的尺度内,避开了长距离衰减。代价是需要在训练数据里标注段落边界与歌词到段落的分配;YuE 用自动分割与简单规则完成,不需要人工对齐到音素。

SongGen:单阶段解码器与混合/双轨两种 token 排列

SongGen 单阶段框架:歌词、风格描述与三秒参考音频分别编码后经 cross-attention 注入自回归解码器

上图是 SongGen 的整体结构。底部四路输入:风格描述文本、[bos]/[eos] 包裹的歌词 token 序列、一段三秒参考音频(用于音色克隆)、以及可选的说话人描述;四路各自经过编码器与投影层,通过 cross-attention 注入中间的 Transformer 解码器;解码器输出 token 后由 X-Codec 解码器还原为波形。整首歌(人声与伴奏)只由这一条解码器生成,混合与双轨的差别只体现在输出 token 的排列上。

SongGen 的选择是单阶段:一条 transformer 解码器直接输出 token 序列,条件通过模态专用的编码器与 cross-attention 注入。它研究的是 token 排列本身:

  • 混合模式(Mixed Pro):直接解码混音 token,但在每一帧额外加一组「人声 token」的预测头,作为辅助监督目标。这样做的原因是混合音频里人声信噪比低,模型容易只学好伴奏,辅助目标强迫模型关注人声。代价是训练目标里多了一组 logits,推理时丢弃。
  • 双轨模式:人声与伴奏分别编码为两套 token,在同一个解码器里同步生成。论文比较了三类排列:码本维度拼接(parallel,按帧把两轨的码本拼接)、时间维度交错(interleaving,交替放 A、V token)、以及带一步延迟的变体。实验结果里交错排列(伴奏先于人声)效果最好:当前帧的人声 token 能同时看到本帧的伴奏与前帧的人声,形成「先听伴奏、后开口」的因果结构。
  • 码本延迟(codebook delay):单个轨道内部的多码本层使用相邻层错开一步的排列,这与 MusicGen 的做法一致,让每层在预测时都能看到上一层的上一个时间步。
SongGen 不同生成模式的 token 排列示意:混合、并行双轨与交错双轨

上图左侧是混合模式与码本延迟,右侧是双轨的并行与交错两种排列。读图时注意箭头的方向:每个箭头表示「预测当前 token 时能看到哪些历史 token」,交错排列的箭头让两轨在同一时间轴上形成交叉依赖。

分词路线的推理形态是所有变体的共同点:串行。一首 4 分钟的歌曲在 50 Hz 帧率、8 层码本下需要 240×50×8≈96000240 \times 50 \times 8 \approx 96000 次 token 预测(双轨再乘 2),即使批量化、缓存注意力,也受自回归的串行本质限制。另外,YuE 报告的缩放结果表明模型规模对歌词跟随影响巨大:同样的 CoT 方法,0.5B 模型的词错误率约 70%,7B 模型降到约 20%。这说明分词路线的条件遵循能力并不是「技巧问题」——结构标签解决了条件距离,模型容量仍然决定歌词能否被正确唱出。串行与长上下文这两个约束叠加,就是潜空间路线存在的直接原因。

潜空间路线:一次前向生成整首歌

潜空间路线把波形先压缩到连续潜变量,再在潜空间上做去噪。它与图像生成里的「VAE + 扩散/流匹配」结构同构,只是在音频上「怎么压缩、怎么对齐、怎么控制」需要重新设计。DiffRhythm(2025 年 3 月)与 ACE-Step(2025 年)是这条路线里最有代表性的两个基础架构。

第一步:VAE/DCAE 把 4 分钟音频压成几千帧

决定整条路线成本上限的是压缩率。一首 4 分 45 秒的 44.1 kHz 立体声音频有约 2500 万个采样点,任何生成模型都无法在这个长度上做注意力。编码器必须把它压到千帧量级。

DiffRhythm 直接改写 Stable Audio 2 的 VAE(157M 参数):输入 44.1 kHz 立体声,5 个下采样块实现 20482048 倍时间压缩,输出 64 维潜变量,帧率 21.5 Hz。4 分 45 秒因此变成 285×21.5≈6128285\times 21.5 \approx 6128 帧——正是 Transformer 一次前向可以处理的范围。

压缩倍数的含义可以用一个数字看清:44100/21.5≈204844100/21.5 \approx 2048,即每一个潜帧对应约 46 ms 的音频,在 44.1 kHz 下是 2048 个采样点、两个声道共 4096 个数值,被压成 64 个潜变量。

DiffRhythm 整体架构:歌词与风格条件经预处理后送入 DiT,生成潜变量再经 VAE 解码为音频

上图是 DiffRhythm 的全景。左侧是三个条件:歌词(经 G2P 变成音素 token)、风格提示(经 LSTM 得到全局风格向量)、扩散时间步;三者沿通道维度拼接后送进 DiT;右侧是 VAE 解码器把生成的潜变量还原为立体声。

训练 VAE:为什么必须带「有损到无损」重建

DiffRhythm 在训练 VAE 时做了一个非常工程化的设计:只用无损 FLAC 数据训练,但训练时先对输入做 MP3 压缩(VBR 质量 0 到 7 随机),重建目标是原始无损音频。这被称为有损到无损重建(lossy-to-lossless reconstruction)。

为什么需要?因为互联网上的歌曲数据大量是 MP3,高频被 MP3 编码器截断。如果 VAE 只见过无损音频,编码 MP3 输入时会把压缩伪影一并编码进潜空间,解码后伪影仍在,且可能被扩散模型进一步放大。让 VAE 学会「修复 MP3 伪影」,整个生成链路在 MP3 数据上都能保持质量。

VAE 的损失是多分辨率 STFT 重建损失加对抗损失。多分辨率 STFT 计算不同窗口大小下的频谱差异,同时兼顾时域与时频细节;对抗损失提升感知质量。DiffRhythm 的细节:立体声在 M/S(中侧)与 L/R 两组声道表示下分别计算损失,L/R 的贡献按 0.5 缩放,权重向 M/S 倾斜。原因是重建误差更多反映在左右声道的相位与空间定位差异上,M/S 表示能更好地约束这一点。

DCAE 是另一种选择。ACE-Step 采用 Sana 的深度压缩自编码器(DCAE),输入改为 mel 频谱而不是波形:8 倍时间压缩、8 倍频率压缩、8 通道,潜空间帧率约 10.77 Hz。mel 频谱本身就是 2D 图像(时间 × 频带),DCAE 用 2D 卷积同时压缩两个维度,比 1D 卷积的时序 VAE 压缩更狠。但论文明确指出,DCAE 的重建质量不如 1D VAE:FAD 从 0.0059 上升到 0.0224。这是一个典型的取舍:主模型更快更会长程结构,解码质量略差,最终用预训练的通用音乐声码器把 mel 转回波形。

DiT 主干:条件如何注入

去噪网络是 DiT。两个模型的主干细节不同,但条件注入的套路相似:

DiffRhythm 采用 16 层 LLaMA 解码器、隐层 2048、32 头注意力,1.1B 参数。三个条件中,风格提示经 LSTM 取最后隐状态作为全局向量,与时间步嵌入相加得到全局条件;歌词通过嵌入层得到逐帧的音素嵌入;噪声潜变量与两者沿通道维度拼接后送入 DiT。使用 LLaMA 结构的好处是直接复用现成的高效注意力与算子融合实现(如 FlashAttention2、Liger-Kernel),不需要为 DiT 单独写 kernel。

ACE-Step 采用 Sana 的线性注意力 DiT(24 层),并做了两处修改:

  • AdaLN-single:把原来每个 DiT 块各自独立的自适应层归一化参数合并成所有块共享的一组参数,显著减少模型体积与显存;
  • FFN 改为 1D 卷积:潜空间是 1D 序列(经过 patchify 之后),用 1D 卷积替代 2D 卷积,参数更少且与时间维对齐。

线性注意力的意义在长序列上才显出来:全注意力对 TT 帧的复杂度是 O(T2d)O(T^2 d),线性注意力是 O(Td2)O(T d^2);对数千帧的歌曲潜空间,后者的计算量线性增长,显存也低得多。这与潜空间路线的「长序列一次前向」承诺是配套的。

歌词对齐:DiffRhythm 的句子级机制

潜空间路线最大的难题是歌词与音频的对齐:扩散模型一次生成整段潜变量,没有自回归的逐步条件注入,歌词到底该落在哪一段,完全由模型自己决定。而歌曲里人声是稀疏的:长间奏、前奏里没有歌词,歌词与音频在时间上不是稠密对应。如果要求模型学习帧级对齐,监督信号非常弱。

DiffRhythm 的解法是句子级对齐:只标注每句歌词的开始时间戳,然后把这一句的音素序列铺满从「本句开始」到「下一句开始」之间的潜帧。

设潜帧率为 r=21.5r = 21.5 Hz,第 jj 句歌词 sjs_j 的音素序列长度为 LjL_j,该句的开始时间为 τj\tau_j,下一句开始时间 τj+1\tau_{j+1}。那么该句覆盖的潜帧区间是 [round(τjr), round(τj+1r))[\mathrm{round}(\tau_j r),\ \mathrm{round}(\tau_{j+1} r))。令这个区间长度为 NjN_j,音素序列被均匀展开到这些帧:

P~[round(τjr)+k]=Phoneme(⌊k LjNj⌋),0≤k<Nj\tilde{P}[\mathrm{round}(\tau_j r) + k] = \mathrm{Phoneme}\left(\left\lfloor \frac{k\,L_j}{N_j} \right\rfloor\right),\quad 0 \le k < N_j

其中 P~\tilde{P} 是一条与潜变量等长的「对齐音素序列」,未覆盖的帧填空白符号。这个公式的含义是:帧 kk 对应的音素下标是 kLj/Njk L_j / N_j 取整。每句歌词内部的音素按均等时长铺开,跨句的边界由时间戳确定。

这个设计降低了监督成本:只需要句子开始时间戳,不需要音素级对齐;同时把问题简化成「句子内均分、句子间由模型自己决定」,模型仍然要学习一句歌词如何在旋律上分配音节,但不必自己猜测「哪一帧是第一句的开始」。论文的消融实验(w/o align)显示去掉这个机制后歌词清晰度显著下降。

另一个细节是潜变量截断训练:随机选一个起始帧,把潜变量截成固定长度做批次对齐;同时随机抽取一小段潜变量作为风格提示。截断让模型在各种时间偏移上都能训练,避免只学会「从歌曲开头生成」。

DiffRhythm 句子级歌词对齐:音素序列按句子时间戳铺满对应潜帧

上图展示了句子级对齐的构造:横轴是潜帧,每句歌词的音素按其时间区间均分铺开,句与句之间的空白帧不做强制对齐。

ACE-Step:用语义表征对齐(REPA)补上歌词跟随

ACE-Step 框架:文本、歌词与说话人三路编码器经 cross-attention 注入线性 DiT,DCAE 提供潜空间

上图是 ACE-Step 的整体框架。左侧三路编码器分别处理风格文本(冻结的 mT5)、歌词(可训练的歌词编码器)与音色(10 秒清唱片段经说话人编码器得到 512 维向量);三路嵌入拼接后经 cross-attention 注入中间的去噪网络;底部是 mel 频谱与 Music-DCAE 构成的潜空间通路;右侧是条件生成后的声码器与三类下游任务(歌词转人声、人声转伴奏、重绘编辑)。注意框架图里没有出现「音高」这一路输入——直出路线的音高完全由模型自己决定。

ACE-Step 的条件注入是 cross-attention:三组编码器的输出(文本、歌词、音色)分别嵌入,拼接后通过 cross-attention 注入 DiT。它的独到之处在训练期的表征对齐(REPA)。

REPA 最初是为图像扩散提出的:让学生模型中间层的特征与一个强预训练模型的特征对齐,相当于给去噪网络一个语义「锚点」,加快收敛并提升语义保真。ACE-Step 把它搬到音乐:取 DiT 第 8 层(共 24 层)的中间特征 hh,与两个自监督模型的输出做对齐:

  • MERT:音乐表征模型,24 kHz 单声道、5 秒一块,输出维数 dmd_m、帧率 75 Hz,负责音乐结构与旋律;
  • mHuBERT:多语言语音表征,16 kHz、30 秒一块,帧率 50 Hz,负责人声的语音内容(歌词清晰度)。

三组特征的时间维度先通过插值或池化对齐到共同长度 T′T',损失取 1 减余弦距离的平均:

LREPA=−1T′∑i=1T′cos⁡ ⁣(hi′, ϕm(v)i)−1T′∑i=1T′cos⁡ ⁣(hi′, ϕs(v)i)\mathcal{L}_{\text{REPA}} = -\frac{1}{T'}\sum_{i=1}^{T'}\cos\!\left(h'_i,\ \phi_m(v)_i\right) - \frac{1}{T'}\sum_{i=1}^{T'}\cos\!\left(h'_i,\ \phi_s(v)_i\right)

其中 hi′h'_i 是 DiT 特征在时间维对齐后的第 ii 个向量,ϕm\phi_m、ϕs\phi_s 分别是 MERT 与 mHuBERT 对原音频 vv 的特征,T′T' 是共同长度。总损失是流匹配损失加上 λrepaLREPA\lambda_{\text{repa}}\mathcal{L}_{\text{REPA}},论文中 λrepa=1.0\lambda_{\text{repa}}=1.0,最后 10 万步微调时把 mHuBERT 项降到 0.01,防止纯人声语义压制伴奏乐器。

为什么 REPA 对歌词对齐必要?论文给出的解释是扩散模型的学习顺序:它先学低频结构(旋律、段落),再学高频细节(人声咬字)。没有语义监督时,模型会在歌词跟随学会之前就学会人声细节,导致歌词错位或漏唱。REPA 把「歌词语义」固定为必须优先满足的低频约束。

这个解释与 YuE 的经验互为补充:分词路线用结构标签缩短条件距离,潜空间路线用表征对齐强制条件生效;两者都在对付同一个问题——歌词条件在长序列里「失忆」。

一次请求的推理账本

把两条路线放在同一个问题下比较:给定歌词和风格提示,生成一首 3 分钟的歌曲,每个环节花多少时间?下表按论文披露的数字与架构推导整理,硬件以单张 A100 级 GPU 为基准(具体数字受实现与批次影响,只用于看量级)。

环节分词路线(YuE 级)潜空间路线(DiffRhythm/ACE-Step 级)
文本/歌词处理BPE + G2P,毫秒级G2P + LSTM/编码器,毫秒级
编码器X-Codec 编码参考音频(如有)VAE 编码风格片段
主生成约 5 万到 10 万次 token 串行预测32 步去噪,每步一次约 3000–6000 帧注意力前向
声学细节Stage-2 残差模型再逐帧生成已包含在潜变量里
解码RVQ 解码器VAE/DCAE 解码 + 声码器
长歌扩展受上下文与 RoPE 衰减限制受潜序列 O(T2)O(T^2) 或线性注意力成本限制
论文报告的端到端分钟级(串行)数十秒到约 10 秒量级

关键差异在串行步数与并行步数:分词路线每一步计算很小(一次 b×1b\times 1 的解码),但必须顺序推进几万步,每步都有一次前向延迟;潜空间路线每一步计算很大(一次完整序列的注意力),但步数固定在几十步,可以充分并行,GPU 利用率高。工程含义是:前者延迟由自回归串行的关键路径决定,优化方向是投机解码、批处理与缓存;后者延迟由单步前向与步数决定,优化方向是减少步数(蒸馏、更高效的采样器)、压缩序列(更高压缩率的 latent)与加速注意力(线性注意力、FlashAttention)。

DiffRhythm 的实测数字

论文在生成 4 分 45 秒歌曲时,32 步 Euler ODE、CFG 强度 4 的条件下,端到端约 10 秒,RTF(实时率,生成时间除以音频时长)为 0.034;生成 1 分 35 秒版本 RTF 为 0.037。分词路线的对照 SongLM 生成 120 秒时 RTF 为 1.717——即生成比音频本身还慢一个数量级。

这个 RTF 对比不应被简单解读为「潜空间路线全面胜出」:分词路线的优势在歌词可编辑性与局部修改,潜空间扩散的局部编辑(inpaint)也能做,但代价是整首歌重新去噪。

ACE-Step 的实测数字

ACE-Step 报告在 A100 上生成 4 分钟音乐约 20 秒,并称比同类 LLM 基线快 15 倍。它的线性注意力 DiT 让单步前向的成本对序列长度更友好,但代价是线性注意力在语义精确度上略低于全注意力,需要 REPA 这样的训练期对齐弥补。

采样步数从 32 步继续往下

潜空间路线的 RTF 由 Nsteps×tforwardN_{\text{steps}} \times t_{\text{forward}} 决定。两个方向在压缩它:

  • 减少步数:少步蒸馏(一致性模型、对抗蒸馏、轨迹蒸馏)把 30 步压到 1–4 步,代价是质量上限下降,且蒸馏需要重新训练。扩散少步蒸馏的机制可参考本站的 扩散少步蒸馏。
  • 减少单步成本:更高压缩率的潜空间(如 DCAE 的 8×8)、线性注意力、patchify 后减少 token 数。

这两个方向分别对应图像扩散里已经成熟的「蒸馏」与「架构」两条线,迁移到音频时的主要差别是:音频潜空间的压缩倍率对重建质量更敏感,高频谐波在压缩中损失后很难通过去噪找回。

局部编辑:潜空间路线独有的能力

潜空间扩散有一个分词路线难以做到的能力:在原音频上做局部修改,而且不需要重新生成整首歌。ACE-Step 与 DiffRhythm 都支持基于 inpainting 的编辑:

  • 重绘(repainting):对音频的指定时间区间加噪,其余区间固定在原潜变量,从中间步数开始去噪。时间维度上的掩码规定哪些帧被修改;
  • 局部歌词修改(flow-edit):对某个时间窗内的潜变量加噪并约束 ODE 求解,在保持旋律、音色与伴奏不变的前提下换掉歌词。

这些操作能成立的机制与图像 inpainting 相同:扩散的每一步都以「已知的干净部分」为条件,模型只需拟合「缺失部分在已知上下文下的合理取值」。代价是受时间窗之外的上下文限制,长段修改容易出现拼接痕迹,所以工程上把编辑限制在小段,多次顺序编辑完成大段修改。

符号路线同样有局部编辑能力,而且更精确:改一个音符的音高,重新合成该音符即可;分词路线的局部编辑介于两者之间,需要重新自回归该段并处理 KV 缓存一致性问题。

评价:什么样的指标才能量出「一首歌」

歌曲的质量评价是这条路线里最不成熟的部分,但它决定了所有架构的对比口径。

  • PER(音素错误率)与词错误率:用 ASR 系统转写生成音频,与歌词比较。它量的是「歌词是否被唱清楚」,不量音乐性。DiffRhythm 报告 PER 为 17.47%(1 分 35 秒)与 18.02%(4 分 45 秒),VAE 重建真值作为上限约为 16.14%。
  • FAD(Fréchet Audio Distance):用预训练音频特征空间的分布距离衡量整体音色与分布相似度。它是分布级指标,对单首歌的细节不敏感。
  • 音乐性 / 人声质量 / 可懂度:主观听感评分(MOS 类),是最终裁决。
  • CLaMP 3 与 CLAP:文本约束跟随度的自动指标。YuE 的分析发现 CLAP 与人类偏好相关性弱甚至为负(歌词跟随相关系数 -0.25),而 CLaMP 3 相关系数达 0.42;说明 CLAP 的训练数据以环境声与语音为主,对歌唱与音乐的结构理解不足。
ACE-Step 论文对比各系统在风格匹配上的 CLAP 与 MuLan 得分

上图是 ACE-Step 论文给出的风格匹配得分对比:横轴是参与比较的系统,纵轴是 CLAP 与 MuLan 两种文本—音乐对齐指标的得分。可以看到分差主要来自风格描述与音频语义的对齐,而不是音频本身的音质;这正好说明这类指标补的是 PER 覆盖不到的「风格是否听对」,但它同样无法评价「一首歌的结构是否完整」。

不同系统可生成歌曲时长的分布对比

上图是 YuE 论文给出的时长分布比较:它把「长程建模能力」折算成一个可直接比较的量。分布越宽表示系统能稳定生成越长的完整歌曲;这比任何单段样例更能反映长上下文架构的实际边界。

这些指标的共同缺陷是相互独立:一首歌可以歌词清晰但音乐性差,也可以音乐性好但歌词错位。目前的实践是同时报告多组指标,主观评分作为最终裁决;没有单一的「歌曲质量」指标。

小结

歌曲生成的三种基础架构,对应三种对「结构从哪里来」的回答:

符号驱动(DiffSinger 类):结构(音高、时长、音节边界)由乐谱给出,声学模型只需要在约束下生成细节。浅层扩散把平滑的回归输出当作扩散起点,在保留骨架的同时补回纹理,推理步数也降到 kk 步以内。它的推理瓶颈是音素级或帧级的批量前向,适合高控制精度、低延迟的单片段场景。

分词驱动(YuE、SongGen 类):结构由语言模型在 token 序列里逐步决定。双轨 token 把多轨动态分开,结构标签把长上下文的条件距离压到段落尺度;推理是几万次串行解码,长上下文与 RoPE 衰减是主要敌人。

潜空间驱动(DiffRhythm、ACE-Step 类):结构由 VAE 压缩后的潜序列承载,一次前向看全首歌。句子级歌词对齐降低了监督成本,REPA 把歌词语义固定在训练早期,线性注意力让长序列的单步成本可控;推理是几十步固定去噪,RTF 比分词路线低一到两个数量级。

三条路线的选择取决于任务:如果用户手里有乐谱、要求精确控制音高,符号路线最直接;如果要求局部编辑与可解释的编辑操作,分词路线与潜空间的 inpainting 各有取舍;如果要求快速生成完整歌曲、风格可控,潜空间路线目前是延迟最优的架构。

下一篇会讨论 语音与音乐统一码本的分层结构:当同一个编解码器要同时承载语音、歌声与伴奏,码本层如何在语义与声学之间分配,以及它如何反过来决定语言模型的序列长度与推理成本。

参考资料

  1. DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
  2. VISinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis
  3. SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation
  4. YuE: Scaling Open Foundation Models for Long-Form Music Generation
  5. DiffRhythm: Blazingly Fast and Embarrassingly Simple End-to-End Full-Length Song Generation with Latent Diffusion
  6. ACE-Step: A Step Towards Music Generation Foundation Model
  7. MusicGen: Simple and Controllable Music Generation
  8. MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer
  9. DiffRhythm 官方仓库
  10. YuE 官方仓库
  11. ACE-Step 官方仓库

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

歌曲生成模型架构入门:从乐谱驱动的歌声合成到歌词直出整首歌
https://pinghaoyang.com.cn/articles/insights/posts/song-generation-architectures/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录