正在获取所在地区…
正在读取天气
音乐
暂未播放
歌曲生成模型架构入门:从乐谱驱动的歌声合成到歌词直出整首歌
背景:一首歌比一段语音多出了什么
纯语音生成把「说」做对了:音素、韵律、音色、停顿。歌曲生成要在同一套声学基础上再多三件事——音高随音符被精确控制、歌词按节拍对齐到音符、伴奏与人声共享同一个时间轴与调性。这三件事让歌曲生成从「语音模型的延伸」变成一个独立的多模态问题:它的输入同时包含符号(乐谱、音高、时长、和弦)与文本(歌词),输出是一段几十秒到几分钟、多轨混合的音频。
本文把工业界的基础架构分成两类讲:一类是符号驱动,乐谱(音高、时长)由外部给出,模型只需在约束下「唱出来」;另一类是把整首歌拆成 token 或潜变量、用一条大模型直接生成整首歌的文本直出,其中又分「离散分词 + 自回归」与「连续潜空间 + 扩散」两条。三套架构的推理形态完全不同,文末把它们折算到同一个时间账本上对比。
下面的章节从符号驱动路线开始,因为它是理解「歌曲里到底有什么约束」的起点:只有先看清乐谱如何被编码进声学模型,才能理解后面直出路线为什么要重新设计歌词对齐。
问题定义:歌曲生成难在三个耦合层
语音合成(TTS)的输入是文字,输出是单说话人的连续语音。歌曲生成(song generation)的输出也是音频,但输入、输出与评价标准都换了:
| 维度 | 语音合成 | 歌声合成(SVS) | 歌词到整首歌 |
|---|---|---|---|
| 输入 | 文本 | 文本 + 乐谱(音高序列 + 每个音素的时长) | 歌词 + 风格描述(有时加参考音频) |
| 输出 | 干净人声 | 干净人声(通常不含伴奏) | 人声与伴奏混合的多轨音频 |
| 控制粒度 | 韵律、停顿 | 精确到每个音符的音高与长度 | 只控制「唱什么词、什么风格」 |
| 对齐难度 | 文本与语音在短时间内连续对应 | 音符与音素一一绑定,天然对齐 | 歌词与旋律无人给出,需模型自行决定 |
三类任务的核心难点可以归为三点。
第一,音高与时长是外部约束。 在乐谱驱动的歌声合成中,给定音乐符号序列 S=(l1,…,lL),其中每个元素携带音素、音高、时长,模型必须产出与音符边界严格对齐的 mel 频谱。这意味着语言侧(音素、词)与音乐侧(音高、节奏)必须在同一条时间轴上融合,且融合点精确到帧。
第二,多轨信号的动态范围差异。 一首完整歌曲里人声与伴奏是两套能量与频谱分布完全不同的信号,人声往往被伴奏掩盖。YuE 团队用「分词后语言信息损失」(LLAT)量化了这一点:对同一段音频,分别用分词器重建混音和人声轨,再用 Whisper 转写,比较词错误率。在金属、流行等频谱密集的曲风中,混音轨的词错误率显著高于单独人声轨,音高变化越剧烈(音节调变方差 VAR 越低)差距越大。
第三,长程结构。 一首歌长达三到五分钟,需要段落的起承转合(intro、verse、chorus、bridge、outro),而歌词在整个时间轴上稀疏地出现:人声可能只在副歌进入,前奏和间奏没有歌词。传统 TTS 的单调对齐(monotonic alignment)假设在这里失效。
这三点分别对应符号路线、分词路线与扩散路线各自的架构回应,后面的章节逐个展开。
符号驱动路线:乐谱到人声的三段式流水线
工业界最早成功的路线是歌声合成(Singing Voice Synthesis,SVS)。它的流水线是三段:文本前端、声学模型、声码器。
第一段是文本前端(text frontend)。歌词先经过分词与注音(中文需要区分多音字,英文需要字母到音素 G2P 转换),得到音素序列;乐谱给出每个音符的音高(MIDI 音高号或 F0)与时长;两者按音节边界绑定成一个「音素—音高—时长」序列。中文数据集常用 pypinyin 注音,再用 MFA(Montreal Forced Aligner)在句子级别对齐后细化到音素级别。
第二段是声学模型(acoustic model),把符号序列变成声学特征。声学特征的经典选择是 80 维 mel 频谱,帧长与 hop 由采样率决定:DiffSinger 采用 24 kHz 采样率、512 点帧长、128 点 hop,即每 5.33 ms 一帧,帧率约 187.5 Hz。
第三段是声码器(vocoder),把 mel 频谱还原为波形。声码器的生成器设计可参考本站的 GAN 声码器架构拆解,这里不重复。
真正的架构分水岭在第二段:声学模型用什么生成方式。早期用 L1/L2 回归直接预测 mel,训练稳定但结果过度平滑,细节被抹平;后来改用 GAN 对抗训练,频谱细节回来了,但训练容易崩;再后来改用扩散模型,训练稳定性和细节质量同时拿到,代价是推理要迭代多步。DiffSinger 正是第三条路上的代表,它额外引入的浅层扩散(shallow diffusion)机制把「过度平滑」的简单模型和「细节丰富」的扩散模型在一次推理里拼起来,是理解符号路线推理账本的最佳切口。
乐谱编码器:把符号约束压进帧级条件
声学模型的条件是一个帧级序列 C∈RT×d,其中 T 是 mel 帧数。它由三部分组成:
- 歌词编码器:音素 ID 查表得到 d 维嵌入,再经过若干 Transformer 块得到上下文相关的语言隐状态 Hx∈RL×d,其中 L 是音素数。Transformer 在这里负责把跨音素的上下文(例如韵母对前一个声母的影响)编码进去。
- 时长调节器(length regulator):把音素级序列按每个音素占用的帧数展开到帧级:Hx′=Repeat(Hx,dur)。这一步在 FastSpeech 系列里是固定操作,它保证音素与帧一一对应。
- 音高编码器:每个帧对应的音高(F0 归一化后的值或 MIDI 音高号)查表或投影为 d 维嵌入 Hp。
三者相加得到 C=Hx′+Hp,即每个帧的隐藏状态同时知道「这一帧唱的是哪个音素」和「这一帧的音高」。
这里有一个容易忽略的设计点:音高嵌入与音素嵌入是相加而不是拼接。相加意味着两者共用同一个 d 维空间,模型必须学会在这个空间里区分「这一段语言特征」与「这一段音高特征」。DeepSinger 之后的主流做法都是相加,因为它省掉了一个维度,且注意力层可以自然地让两者交互;代价是音高精度要求高时(例如大幅颤音),音高信息会被语言信息稀释。

上图是 DiffSinger 的完整结构。乐谱条件被同时送进两个分支:一个是带 L1 损失的辅助解码器(输出的平滑 mel 记为 x^0),另一个是扩散去噪器(在每一步 t 预测噪声)。步嵌入 t 与乐谱条件在去噪器的每一层参与融合。两条分支共享同一个条件编码,这正是浅层扩散能够成立的前提:简单模型的输出和扩散模型的目标处于同一个条件空间里。
扩散去噪器:为什么是卷积而不是 Transformer
DiffSinger 的去噪器 gθ 输入第 t 步的 mel 频谱 xt 与条件,输出噪声 ϵ 的预测。它的架构是非因果 WaveNet:20 层一维卷积,卷积核为 3,无膨胀,通道数 256,搭配残差与门控。
为什么不用 Transformer?在扩散去噪里,每一步输入都是整张 mel 频谱(长歌曲可能上千帧,每帧 80 维)。非因果卷积的感受野是 20×2=40 帧,约 213 ms,足以覆盖单个音符与相邻音符的过渡,并且计算量与帧数成线性关系。Transformer 的自注意力是 O(T2),对 187.5 Hz 帧率的长歌曲代价过大。后续把 Transformer 用于歌声合成的系统改为在潜空间上做去噪,序列长度被压缩,才让注意力变得可行。
去噪器的条件注入方式是门控与逐层相加,而不是 cross-attention:条件序列 C 与步嵌入 et 在每一层作为额外的卷积输入参与门控融合。这种设计的理由是扩散每一步都要重新注入条件,门控比注意力更便宜,且对多步重复调用更友好。
浅层扩散:从「平滑的骨架」起步
简单 L1 回归模型的问题在于过度平滑:它保住了频谱的「骨架」(共振峰的位置与包络),但去掉了帧间细微的噪声纹理,听起来发闷。扩散模型的问题在于从纯高斯噪声起步,前若干步只能生成粗糙的低频结构,真正决定细节的步数很少。
DiffSinger 的观察是:把简单模型输出的平滑 mel x^0 和真实 mel x0 分别按加噪公式推到第 t 步,当 t 足够大时两条轨迹会相交:此时 q(xt∣x^0) 与 q(xt∣x0) 已经难以区分,因为高斯噪声把两者的差异淹没。论文用一个分类器(边界预测网络)来测量「在第 t 步能否区分二者」,找到最早不可区分的步数作为起点,记为 k。
推理因此变成:
- 用简单解码器预测 x^0;
- 用闭式加噪公式把 x^0 推到第 k 步,得到 xk;
- 从 xk 开始反向去噪 k 步,得到最终 mel。
闭式加噪公式为:
xk=αˉkx^0+1−αˉkϵ,ϵ∼N(0,I)其中 αˉk=∏s=1k(1−βs) 是累积噪声系数,βs 是第 s 步的方差表。k 越小意味着起点越接近真实数据,去噪步数越少。

上图是浅层扩散的核心观察:左侧曲线是真实 mel x0 在扩散过程中走向高斯噪声的轨迹,右侧是辅助解码器输出 x^0 的轨迹,它们在 t=k 处相交。交点的意义是「在这个噪声水平上,两组样本已经无法被区分」,因此从 x^0 加工到 t=k 得到的样本,可以当作 x0 在 t=k 时的一个合格替身,反向去噪由此开始。k 由边界预测网络(一个判断「样本来自 x^0 还是 x0」的二分类器)在验证集上自动确定,取 95% 样本刚好区分不开的最早步数。这个机制带来三个收益:
- 推理步数减少:不再从 t=T 一路去噪,而是从 k 开始,步数降为 k;
- 质量提升:起点来自平滑模型,骨架正确;去噪补充高频细节,消除了过度平滑;
- 训练更轻:k 以上的扩散步骤对输出几乎没有贡献,训练时可以直接丢弃。
需要强调的是,浅层扩散不是「模型融合」,它没有把两个模型的权重合并,而是把简单模型的输出当作扩散链的初始样本。这一视角在后续大量歌声合成系统里被沿用:先训练一个稳定但平滑的回归模型,再用扩散或流匹配修正细节。
另一条符号路线的分支:端到端声码化(VISinger)
上面的流水线把声学模型与声码器分开,mel 频谱是两者之间的接口。VISinger(2022 年发表于 ICASSP)把这层接口拿掉,直接输出波形,做法沿袭 VITS 的「VAE 后验编码器 + 归一化流先验 + 对抗解码器」三元结构,但针对歌声做了三处改动:
- 帧级先验:语音端到端模型通常在音素级估计声学特征的均值与方差;歌声的音高、颤音、气声在同一音素内部变化剧烈,VISinger 在音素级分布之后接一个时长调节器与帧先验网络,把分布细化到帧级;
- F0 预测器:把音高作为先验网络的额外引导,避免从后验中「猜」音高,颤音与高音的稳定性明显提升;
- 时长预测改为音素到音符的时长比:先对乐谱音符做归一化,再让模型预测「一个音素占用该音符时长的比例」,这样旋律节奏改变时分包预测不必从头学。
为什么这条分支值得单独讲?它说明符号路线在推理形态上有两种选择:mel 接口分离式(声学模型 + 声码器,可分别训练、替换声码器)与端到端式(一次前向出波形,延迟低但不可部分替换)。分离式在水声码器快速迭代的年代更灵活,端到端式在高控制精度、低延迟的单句场景更优;两条路径至今都在被使用,差别不在生成质量的上限,而在工程的可组合性。
符号路线与文本直出路线的分界:乐谱是「已给出」还是「要自己生成」
符号驱动路线的所有难度,都源于乐谱是外部给定的:音高、时长、音节边界都被指定,模型只需要在这个约束下把符号「唱出来」。一旦去掉乐谱,模型就必须自己决定旋律与节奏,这个任务变成「歌词到整首歌」,符号路线那套三段式流水线就不再适用:
- 没有音高与时长,就无法构造帧级条件序列 C;
- 没有帧级边界,就无法做时长调节器;
- 输出包含伴奏,声学模型不再只处理人声。
剩余的两条工业界基础架构,本质上是在「如何重新引入结构先验」上做出不同的选择:
| 离散分词 + 自回归 LM | 连续潜空间 + 扩散/流匹配 | |
|---|---|---|
| 代表 | YuE、SongGen | DiffRhythm、ACE-Step |
| 音频表示 | RVQ 码本 token | VAE/DCAE 的连续潜变量 |
| 结构先验 | 显式文本结构标签、双轨 token | 训练时随机的潜空间片段 |
| 长程建模 | 需要处理长上下文与 RoPE 衰减 | 一次前向即可看全首歌 |
| 推理形态 | 逐 token 串行生成 | 固定步数并行去噪 |
| 主要瓶颈 | 序列长度与自回归串行 | 去噪步数与长序列注意力 |
下面按「分词路线」与「潜空间路线」两条讲讲透,最后再合到一起做工程账本。
分词路线:把歌曲拆成多轨离散码本
分词路线沿用 GPT 式自回归:神经网络音频编解码器把波形压成离散 token,语言模型逐 token 预测。问题是歌曲是多轨信号,而 RVQ 编解码器为每帧给出多个码本层,两者维度叠在一起会导致序列极长且建模困难。SongGen 与 YuE 分别给出了混合模式与双轨模式的解法。
编解码器的帧结构
以 X-Codec 为例(YuE 与 SongGen 都采用):16 kHz 采样、50 Hz 帧率,12 层 RVQ 码本,每层码本大小 1024;YuE 实际只取前 8 层,因为更多层对质量提升不明显。
每帧的表示是一个码本层向量 (ct(0),ct(1),…,ct(M−1)),其中 ct(0) 是语义丰富的第一层,后几层是声学残差。为什么第一层有语义?因为 X-Codec 在训练时把 HuBERT 自监督特征(100M 参数的语言语义表示)融合进编解码器的潜空间,第一层因此携带音素、旋律等高层信息。这一点对语言模型很关键:预测 c(0) 等价于预测「这一帧唱的是什么、音高走向如何」,难度可控;而直接预测全部 M 层,模型要在 1024^M 的输出空间里学习,收敛慢得多。
YuE:双轨 next-token prediction
标准自回归将 M 层码本展平成一条序列,用链式法则分解联合分布:
p(x)=t=1∏Tm=0∏M−1p(ct(m)∣c<t(⋅),ct(0),…,ct(m−1))YuE 发现这样建模在歌曲任务上有两个问题。第一,一个 token 要同时表示人声和伴奏,而两者的动态完全不同:伴奏能量高、频谱稳定,人声稀疏、音高快速变化;模型会偏向更容易的伴奏,导致歌词不清。第二,序列长度是 T×M,长歌直接顶到上下文上限。
YuE 的双轨(Dual-NTP)方案是把每一帧拆成两个人声 token 与伴奏 token:
xt=(ct(0,v), ct(0,a))序列变成 c1(0,v),c1(0,a),c2(0,v),c2(0,a),…,人声与伴奏在时间轴上逐帧交替。这样做的收益是:
- 单一 token 不再同时承担两套动态,语言模型可以把「唱什么」与「伴奏怎么铺」分开建模;
- 两个轨可以分别后处理与混音,工程上便于母带处理;
- 在金属这类人声被严重掩盖的曲风里,训练损失显著低于标准 NTP。
代价是序列长度翻倍。YuE 用 Stage-2 来处理:Stage-1 语言模型只预测 8 层码本中的 codebook-0 双轨 token(论文的缩放实验覆盖 0.5B、2B 与 7B 三档);Stage-2 用另一个 1B 模型,在已知 codebook-0 的前提下预测其余 7 层残差,从而把「结构预测」与「音质预测」分到两个模型。Stage-2 的序列排列是「先放完整段 codebook-0,再逐帧放 8 层码本」,这样残差模型的每一步都能看到完整的语义布局。

上图是 YuE 的两阶段框架。最底部是文本分词器与音频分词器:歌词与元数据走 BPE,音频走 X-Codec 得到 8 层码本;Stage-1 语言模型在双轨 token 上做 next-token prediction,产出人声与伴奏各自的 codebook-0;Stage-2 语言模型在已知 codebook-0 的前提下逐帧补齐 7 层残差,再由解码器与上采样声码器还原到 44.1 kHz。图里两条并行支路(Vocal、Accompaniment)就是双轨设计在架构上的落点。
长上下文:结构标签与 RoPE 衰减
分词路线更难的问题是歌词跟随。如果只在序列开头放一段歌词,然后连续生成数分钟音频,条件在长距离上会失效。YuE 报告的量化结果:文本条件的影响在约 3K token 后开始衰减,6K token 后完全失效,即便预训练上下文是 16K。这个现象与 RoPE 的长程衰减直接相关:相对位置增大时注意力分数衰减,远距离的歌词条件被稀释。
单纯增大 RoPE 底数(10K 到 100K)或课程学习都不解决问题。YuE 的解法是利用音乐自身的段落结构:用结构分割工具把歌曲切成 14 段左右(多数段小于 30 秒),每段在文本里写一个标签(verse、chorus 等),再把「段标签 + 该段歌词 + 该段音频 token」交替排列:
inst, lyrics, [verse],⟨audio⟩, [chorus],⟨audio⟩,…这个排列叫结构性渐进条件(Structural Progressive Conditioning)。它的作用是:每一段的新歌词都在它自己的音频开始前才出现,条件与目标的距离始终在一段的尺度内,避开了长距离衰减。代价是需要在训练数据里标注段落边界与歌词到段落的分配;YuE 用自动分割与简单规则完成,不需要人工对齐到音素。
SongGen:单阶段解码器与混合/双轨两种 token 排列

上图是 SongGen 的整体结构。底部四路输入:风格描述文本、[bos]/[eos] 包裹的歌词 token 序列、一段三秒参考音频(用于音色克隆)、以及可选的说话人描述;四路各自经过编码器与投影层,通过 cross-attention 注入中间的 Transformer 解码器;解码器输出 token 后由 X-Codec 解码器还原为波形。整首歌(人声与伴奏)只由这一条解码器生成,混合与双轨的差别只体现在输出 token 的排列上。
SongGen 的选择是单阶段:一条 transformer 解码器直接输出 token 序列,条件通过模态专用的编码器与 cross-attention 注入。它研究的是 token 排列本身:
- 混合模式(Mixed Pro):直接解码混音 token,但在每一帧额外加一组「人声 token」的预测头,作为辅助监督目标。这样做的原因是混合音频里人声信噪比低,模型容易只学好伴奏,辅助目标强迫模型关注人声。代价是训练目标里多了一组 logits,推理时丢弃。
- 双轨模式:人声与伴奏分别编码为两套 token,在同一个解码器里同步生成。论文比较了三类排列:码本维度拼接(parallel,按帧把两轨的码本拼接)、时间维度交错(interleaving,交替放 A、V token)、以及带一步延迟的变体。实验结果里交错排列(伴奏先于人声)效果最好:当前帧的人声 token 能同时看到本帧的伴奏与前帧的人声,形成「先听伴奏、后开口」的因果结构。
- 码本延迟(codebook delay):单个轨道内部的多码本层使用相邻层错开一步的排列,这与 MusicGen 的做法一致,让每层在预测时都能看到上一层的上一个时间步。

上图左侧是混合模式与码本延迟,右侧是双轨的并行与交错两种排列。读图时注意箭头的方向:每个箭头表示「预测当前 token 时能看到哪些历史 token」,交错排列的箭头让两轨在同一时间轴上形成交叉依赖。
分词路线的推理形态是所有变体的共同点:串行。一首 4 分钟的歌曲在 50 Hz 帧率、8 层码本下需要 240×50×8≈96000 次 token 预测(双轨再乘 2),即使批量化、缓存注意力,也受自回归的串行本质限制。另外,YuE 报告的缩放结果表明模型规模对歌词跟随影响巨大:同样的 CoT 方法,0.5B 模型的词错误率约 70%,7B 模型降到约 20%。这说明分词路线的条件遵循能力并不是「技巧问题」——结构标签解决了条件距离,模型容量仍然决定歌词能否被正确唱出。串行与长上下文这两个约束叠加,就是潜空间路线存在的直接原因。
潜空间路线:一次前向生成整首歌
潜空间路线把波形先压缩到连续潜变量,再在潜空间上做去噪。它与图像生成里的「VAE + 扩散/流匹配」结构同构,只是在音频上「怎么压缩、怎么对齐、怎么控制」需要重新设计。DiffRhythm(2025 年 3 月)与 ACE-Step(2025 年)是这条路线里最有代表性的两个基础架构。
第一步:VAE/DCAE 把 4 分钟音频压成几千帧
决定整条路线成本上限的是压缩率。一首 4 分 45 秒的 44.1 kHz 立体声音频有约 2500 万个采样点,任何生成模型都无法在这个长度上做注意力。编码器必须把它压到千帧量级。
DiffRhythm 直接改写 Stable Audio 2 的 VAE(157M 参数):输入 44.1 kHz 立体声,5 个下采样块实现 2048 倍时间压缩,输出 64 维潜变量,帧率 21.5 Hz。4 分 45 秒因此变成 285×21.5≈6128 帧——正是 Transformer 一次前向可以处理的范围。
压缩倍数的含义可以用一个数字看清:44100/21.5≈2048,即每一个潜帧对应约 46 ms 的音频,在 44.1 kHz 下是 2048 个采样点、两个声道共 4096 个数值,被压成 64 个潜变量。

上图是 DiffRhythm 的全景。左侧是三个条件:歌词(经 G2P 变成音素 token)、风格提示(经 LSTM 得到全局风格向量)、扩散时间步;三者沿通道维度拼接后送进 DiT;右侧是 VAE 解码器把生成的潜变量还原为立体声。
训练 VAE:为什么必须带「有损到无损」重建
DiffRhythm 在训练 VAE 时做了一个非常工程化的设计:只用无损 FLAC 数据训练,但训练时先对输入做 MP3 压缩(VBR 质量 0 到 7 随机),重建目标是原始无损音频。这被称为有损到无损重建(lossy-to-lossless reconstruction)。
为什么需要?因为互联网上的歌曲数据大量是 MP3,高频被 MP3 编码器截断。如果 VAE 只见过无损音频,编码 MP3 输入时会把压缩伪影一并编码进潜空间,解码后伪影仍在,且可能被扩散模型进一步放大。让 VAE 学会「修复 MP3 伪影」,整个生成链路在 MP3 数据上都能保持质量。
VAE 的损失是多分辨率 STFT 重建损失加对抗损失。多分辨率 STFT 计算不同窗口大小下的频谱差异,同时兼顾时域与时频细节;对抗损失提升感知质量。DiffRhythm 的细节:立体声在 M/S(中侧)与 L/R 两组声道表示下分别计算损失,L/R 的贡献按 0.5 缩放,权重向 M/S 倾斜。原因是重建误差更多反映在左右声道的相位与空间定位差异上,M/S 表示能更好地约束这一点。
DCAE 是另一种选择。ACE-Step 采用 Sana 的深度压缩自编码器(DCAE),输入改为 mel 频谱而不是波形:8 倍时间压缩、8 倍频率压缩、8 通道,潜空间帧率约 10.77 Hz。mel 频谱本身就是 2D 图像(时间 × 频带),DCAE 用 2D 卷积同时压缩两个维度,比 1D 卷积的时序 VAE 压缩更狠。但论文明确指出,DCAE 的重建质量不如 1D VAE:FAD 从 0.0059 上升到 0.0224。这是一个典型的取舍:主模型更快更会长程结构,解码质量略差,最终用预训练的通用音乐声码器把 mel 转回波形。
DiT 主干:条件如何注入
去噪网络是 DiT。两个模型的主干细节不同,但条件注入的套路相似:
DiffRhythm 采用 16 层 LLaMA 解码器、隐层 2048、32 头注意力,1.1B 参数。三个条件中,风格提示经 LSTM 取最后隐状态作为全局向量,与时间步嵌入相加得到全局条件;歌词通过嵌入层得到逐帧的音素嵌入;噪声潜变量与两者沿通道维度拼接后送入 DiT。使用 LLaMA 结构的好处是直接复用现成的高效注意力与算子融合实现(如 FlashAttention2、Liger-Kernel),不需要为 DiT 单独写 kernel。
ACE-Step 采用 Sana 的线性注意力 DiT(24 层),并做了两处修改:
- AdaLN-single:把原来每个 DiT 块各自独立的自适应层归一化参数合并成所有块共享的一组参数,显著减少模型体积与显存;
- FFN 改为 1D 卷积:潜空间是 1D 序列(经过 patchify 之后),用 1D 卷积替代 2D 卷积,参数更少且与时间维对齐。
线性注意力的意义在长序列上才显出来:全注意力对 T 帧的复杂度是 O(T2d),线性注意力是 O(Td2);对数千帧的歌曲潜空间,后者的计算量线性增长,显存也低得多。这与潜空间路线的「长序列一次前向」承诺是配套的。
歌词对齐:DiffRhythm 的句子级机制
潜空间路线最大的难题是歌词与音频的对齐:扩散模型一次生成整段潜变量,没有自回归的逐步条件注入,歌词到底该落在哪一段,完全由模型自己决定。而歌曲里人声是稀疏的:长间奏、前奏里没有歌词,歌词与音频在时间上不是稠密对应。如果要求模型学习帧级对齐,监督信号非常弱。
DiffRhythm 的解法是句子级对齐:只标注每句歌词的开始时间戳,然后把这一句的音素序列铺满从「本句开始」到「下一句开始」之间的潜帧。
设潜帧率为 r=21.5 Hz,第 j 句歌词 sj 的音素序列长度为 Lj,该句的开始时间为 τj,下一句开始时间 τj+1。那么该句覆盖的潜帧区间是 [round(τjr), round(τj+1r))。令这个区间长度为 Nj,音素序列被均匀展开到这些帧:
P~[round(τjr)+k]=Phoneme(⌊NjkLj⌋),0≤k<Nj其中 P~ 是一条与潜变量等长的「对齐音素序列」,未覆盖的帧填空白符号。这个公式的含义是:帧 k 对应的音素下标是 kLj/Nj 取整。每句歌词内部的音素按均等时长铺开,跨句的边界由时间戳确定。
这个设计降低了监督成本:只需要句子开始时间戳,不需要音素级对齐;同时把问题简化成「句子内均分、句子间由模型自己决定」,模型仍然要学习一句歌词如何在旋律上分配音节,但不必自己猜测「哪一帧是第一句的开始」。论文的消融实验(w/o align)显示去掉这个机制后歌词清晰度显著下降。
另一个细节是潜变量截断训练:随机选一个起始帧,把潜变量截成固定长度做批次对齐;同时随机抽取一小段潜变量作为风格提示。截断让模型在各种时间偏移上都能训练,避免只学会「从歌曲开头生成」。

上图展示了句子级对齐的构造:横轴是潜帧,每句歌词的音素按其时间区间均分铺开,句与句之间的空白帧不做强制对齐。
ACE-Step:用语义表征对齐(REPA)补上歌词跟随

上图是 ACE-Step 的整体框架。左侧三路编码器分别处理风格文本(冻结的 mT5)、歌词(可训练的歌词编码器)与音色(10 秒清唱片段经说话人编码器得到 512 维向量);三路嵌入拼接后经 cross-attention 注入中间的去噪网络;底部是 mel 频谱与 Music-DCAE 构成的潜空间通路;右侧是条件生成后的声码器与三类下游任务(歌词转人声、人声转伴奏、重绘编辑)。注意框架图里没有出现「音高」这一路输入——直出路线的音高完全由模型自己决定。
ACE-Step 的条件注入是 cross-attention:三组编码器的输出(文本、歌词、音色)分别嵌入,拼接后通过 cross-attention 注入 DiT。它的独到之处在训练期的表征对齐(REPA)。
REPA 最初是为图像扩散提出的:让学生模型中间层的特征与一个强预训练模型的特征对齐,相当于给去噪网络一个语义「锚点」,加快收敛并提升语义保真。ACE-Step 把它搬到音乐:取 DiT 第 8 层(共 24 层)的中间特征 h,与两个自监督模型的输出做对齐:
- MERT:音乐表征模型,24 kHz 单声道、5 秒一块,输出维数 dm、帧率 75 Hz,负责音乐结构与旋律;
- mHuBERT:多语言语音表征,16 kHz、30 秒一块,帧率 50 Hz,负责人声的语音内容(歌词清晰度)。
三组特征的时间维度先通过插值或池化对齐到共同长度 T′,损失取 1 减余弦距离的平均:
LREPA=−T′1i=1∑T′cos(hi′, ϕm(v)i)−T′1i=1∑T′cos(hi′, ϕs(v)i)其中 hi′ 是 DiT 特征在时间维对齐后的第 i 个向量,ϕm、ϕs 分别是 MERT 与 mHuBERT 对原音频 v 的特征,T′ 是共同长度。总损失是流匹配损失加上 λrepaLREPA,论文中 λrepa=1.0,最后 10 万步微调时把 mHuBERT 项降到 0.01,防止纯人声语义压制伴奏乐器。
为什么 REPA 对歌词对齐必要?论文给出的解释是扩散模型的学习顺序:它先学低频结构(旋律、段落),再学高频细节(人声咬字)。没有语义监督时,模型会在歌词跟随学会之前就学会人声细节,导致歌词错位或漏唱。REPA 把「歌词语义」固定为必须优先满足的低频约束。
这个解释与 YuE 的经验互为补充:分词路线用结构标签缩短条件距离,潜空间路线用表征对齐强制条件生效;两者都在对付同一个问题——歌词条件在长序列里「失忆」。
一次请求的推理账本
把两条路线放在同一个问题下比较:给定歌词和风格提示,生成一首 3 分钟的歌曲,每个环节花多少时间?下表按论文披露的数字与架构推导整理,硬件以单张 A100 级 GPU 为基准(具体数字受实现与批次影响,只用于看量级)。
| 环节 | 分词路线(YuE 级) | 潜空间路线(DiffRhythm/ACE-Step 级) |
|---|---|---|
| 文本/歌词处理 | BPE + G2P,毫秒级 | G2P + LSTM/编码器,毫秒级 |
| 编码器 | X-Codec 编码参考音频(如有) | VAE 编码风格片段 |
| 主生成 | 约 5 万到 10 万次 token 串行预测 | 32 步去噪,每步一次约 3000–6000 帧注意力前向 |
| 声学细节 | Stage-2 残差模型再逐帧生成 | 已包含在潜变量里 |
| 解码 | RVQ 解码器 | VAE/DCAE 解码 + 声码器 |
| 长歌扩展 | 受上下文与 RoPE 衰减限制 | 受潜序列 O(T2) 或线性注意力成本限制 |
| 论文报告的端到端 | 分钟级(串行) | 数十秒到约 10 秒量级 |
关键差异在串行步数与并行步数:分词路线每一步计算很小(一次 b×1 的解码),但必须顺序推进几万步,每步都有一次前向延迟;潜空间路线每一步计算很大(一次完整序列的注意力),但步数固定在几十步,可以充分并行,GPU 利用率高。工程含义是:前者延迟由自回归串行的关键路径决定,优化方向是投机解码、批处理与缓存;后者延迟由单步前向与步数决定,优化方向是减少步数(蒸馏、更高效的采样器)、压缩序列(更高压缩率的 latent)与加速注意力(线性注意力、FlashAttention)。
DiffRhythm 的实测数字
论文在生成 4 分 45 秒歌曲时,32 步 Euler ODE、CFG 强度 4 的条件下,端到端约 10 秒,RTF(实时率,生成时间除以音频时长)为 0.034;生成 1 分 35 秒版本 RTF 为 0.037。分词路线的对照 SongLM 生成 120 秒时 RTF 为 1.717——即生成比音频本身还慢一个数量级。
这个 RTF 对比不应被简单解读为「潜空间路线全面胜出」:分词路线的优势在歌词可编辑性与局部修改,潜空间扩散的局部编辑(inpaint)也能做,但代价是整首歌重新去噪。
ACE-Step 的实测数字
ACE-Step 报告在 A100 上生成 4 分钟音乐约 20 秒,并称比同类 LLM 基线快 15 倍。它的线性注意力 DiT 让单步前向的成本对序列长度更友好,但代价是线性注意力在语义精确度上略低于全注意力,需要 REPA 这样的训练期对齐弥补。
采样步数从 32 步继续往下
潜空间路线的 RTF 由 Nsteps×tforward 决定。两个方向在压缩它:
- 减少步数:少步蒸馏(一致性模型、对抗蒸馏、轨迹蒸馏)把 30 步压到 1–4 步,代价是质量上限下降,且蒸馏需要重新训练。扩散少步蒸馏的机制可参考本站的 扩散少步蒸馏。
- 减少单步成本:更高压缩率的潜空间(如 DCAE 的 8×8)、线性注意力、patchify 后减少 token 数。
这两个方向分别对应图像扩散里已经成熟的「蒸馏」与「架构」两条线,迁移到音频时的主要差别是:音频潜空间的压缩倍率对重建质量更敏感,高频谐波在压缩中损失后很难通过去噪找回。
局部编辑:潜空间路线独有的能力
潜空间扩散有一个分词路线难以做到的能力:在原音频上做局部修改,而且不需要重新生成整首歌。ACE-Step 与 DiffRhythm 都支持基于 inpainting 的编辑:
- 重绘(repainting):对音频的指定时间区间加噪,其余区间固定在原潜变量,从中间步数开始去噪。时间维度上的掩码规定哪些帧被修改;
- 局部歌词修改(flow-edit):对某个时间窗内的潜变量加噪并约束 ODE 求解,在保持旋律、音色与伴奏不变的前提下换掉歌词。
这些操作能成立的机制与图像 inpainting 相同:扩散的每一步都以「已知的干净部分」为条件,模型只需拟合「缺失部分在已知上下文下的合理取值」。代价是受时间窗之外的上下文限制,长段修改容易出现拼接痕迹,所以工程上把编辑限制在小段,多次顺序编辑完成大段修改。
符号路线同样有局部编辑能力,而且更精确:改一个音符的音高,重新合成该音符即可;分词路线的局部编辑介于两者之间,需要重新自回归该段并处理 KV 缓存一致性问题。
评价:什么样的指标才能量出「一首歌」
歌曲的质量评价是这条路线里最不成熟的部分,但它决定了所有架构的对比口径。
- PER(音素错误率)与词错误率:用 ASR 系统转写生成音频,与歌词比较。它量的是「歌词是否被唱清楚」,不量音乐性。DiffRhythm 报告 PER 为 17.47%(1 分 35 秒)与 18.02%(4 分 45 秒),VAE 重建真值作为上限约为 16.14%。
- FAD(Fréchet Audio Distance):用预训练音频特征空间的分布距离衡量整体音色与分布相似度。它是分布级指标,对单首歌的细节不敏感。
- 音乐性 / 人声质量 / 可懂度:主观听感评分(MOS 类),是最终裁决。
- CLaMP 3 与 CLAP:文本约束跟随度的自动指标。YuE 的分析发现 CLAP 与人类偏好相关性弱甚至为负(歌词跟随相关系数 -0.25),而 CLaMP 3 相关系数达 0.42;说明 CLAP 的训练数据以环境声与语音为主,对歌唱与音乐的结构理解不足。

上图是 ACE-Step 论文给出的风格匹配得分对比:横轴是参与比较的系统,纵轴是 CLAP 与 MuLan 两种文本—音乐对齐指标的得分。可以看到分差主要来自风格描述与音频语义的对齐,而不是音频本身的音质;这正好说明这类指标补的是 PER 覆盖不到的「风格是否听对」,但它同样无法评价「一首歌的结构是否完整」。

上图是 YuE 论文给出的时长分布比较:它把「长程建模能力」折算成一个可直接比较的量。分布越宽表示系统能稳定生成越长的完整歌曲;这比任何单段样例更能反映长上下文架构的实际边界。
这些指标的共同缺陷是相互独立:一首歌可以歌词清晰但音乐性差,也可以音乐性好但歌词错位。目前的实践是同时报告多组指标,主观评分作为最终裁决;没有单一的「歌曲质量」指标。
小结
歌曲生成的三种基础架构,对应三种对「结构从哪里来」的回答:
符号驱动(DiffSinger 类):结构(音高、时长、音节边界)由乐谱给出,声学模型只需要在约束下生成细节。浅层扩散把平滑的回归输出当作扩散起点,在保留骨架的同时补回纹理,推理步数也降到 k 步以内。它的推理瓶颈是音素级或帧级的批量前向,适合高控制精度、低延迟的单片段场景。
分词驱动(YuE、SongGen 类):结构由语言模型在 token 序列里逐步决定。双轨 token 把多轨动态分开,结构标签把长上下文的条件距离压到段落尺度;推理是几万次串行解码,长上下文与 RoPE 衰减是主要敌人。
潜空间驱动(DiffRhythm、ACE-Step 类):结构由 VAE 压缩后的潜序列承载,一次前向看全首歌。句子级歌词对齐降低了监督成本,REPA 把歌词语义固定在训练早期,线性注意力让长序列的单步成本可控;推理是几十步固定去噪,RTF 比分词路线低一到两个数量级。
三条路线的选择取决于任务:如果用户手里有乐谱、要求精确控制音高,符号路线最直接;如果要求局部编辑与可解释的编辑操作,分词路线与潜空间的 inpainting 各有取舍;如果要求快速生成完整歌曲、风格可控,潜空间路线目前是延迟最优的架构。
下一篇会讨论 语音与音乐统一码本的分层结构:当同一个编解码器要同时承载语音、歌声与伴奏,码本层如何在语义与声学之间分配,以及它如何反过来决定语言模型的序列长度与推理成本。
参考资料
- DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
- VISinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis
- SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation
- YuE: Scaling Open Foundation Models for Long-Form Music Generation
- DiffRhythm: Blazingly Fast and Embarrassingly Simple End-to-End Full-Length Song Generation with Latent Diffusion
- ACE-Step: A Step Towards Music Generation Foundation Model
- MusicGen: Simple and Controllable Music Generation
- MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer
- DiffRhythm 官方仓库
- YuE 官方仓库
- ACE-Step 官方仓库
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



