正在获取所在地区…
正在读取天气
音乐
暂未播放
语音合成的声学模型:Tacotron 2 与 FastSpeech 2 如何把文本变成 mel 频谱
一条 TTS 链路里,声学模型站在哪里
把一句文字念出来,需要回答两组完全不同的问题。第一组是「念什么、怎么念」:字词如何切分成音、每个音持续多久、音高怎么起伏、重音落在哪里。第二组是「用什么声音把它发出来」:把上面这些抽象描述变成一段真正的波形信号。现代神经网络语音合成把这条链路切成三段:
- 文本前端:原始文本先经过分词、数字与符号的正规化,再被转成音素(phoneme)序列。英文常用 39 个音素的 ARPABET 集合,中文则常以拼音声母韵母为单位。前端还负责标注词边界、并给每个音素一个编号。
- 声学模型(acoustic model):把音素序列映射成一帧一帧的声学特征,通常就是 mel 频谱——一段短时分析得到的、对人耳感知做了压缩的频谱图。这一步同时隐含了「每个音说多久」,也就是时长信息。
- 声码器(vocoder):把 mel 频谱还原成波形采样。
后端的声码器已经单独成篇拆过:从频谱到波形的还原是一个病态逆问题,GAN 声码器用对抗训练补相位与高频细节,可参考 从频谱到波形的 GAN 声码器。这篇要讲的是中间那一块——声学模型如何从文本推导出 mel。它决定了合成语音的韵律是否自然、节奏是否正确、读长句会不会漏字重字,也决定了推理侧的最大延迟:mel 帧一旦产出,声码器才能开工;而 mel 帧的数量由音素数量和语速决定,声学模型必须逐帧地把它们生成出来。
历史上声学模型先后被三种思路主导。早期是拼接式单元选择合成:从发音人录音库里挑出最合适的音素片段拼接,结果机械、生硬。2017 年的 Tacotron 第一次用序列到序列结构把字符直接映射到频谱帧,再由 WaveNet 转成波形;Google 随后提出的 Tacotron 2 于 2018 年正式发表,它把 mel 预测网络换成更简单的编码器-解码器结构并做到了接近真人录音的 MOS。但 Tacotron 系列有一个结构性缺点:mel 是一帧一帧自回归生成的,每帧都要在音素序列上算一次注意力,长句上的跳字、漏字、重复几乎无法避免,推理速度也受限于逐帧串行。2019 年的 FastSpeech 与 2020 年的 FastSpeech 2 换了一个根本假设:既然一个音素的发音时长可以被估计出来,那就先预测时长,把音素序列按时长「拉伸」成 mel 帧长度的序列,再一次性并行生成所有帧。
本文聚焦这两种范式——自回归注意力对齐与显式时长预测的并行生成,从结构、机理、失败模式到推理成本逐层拆解。Tacotron 2 是理解「注意力对齐」最好的教材;FastSpeech 与 FastSpeech 2 构成的「预测时长 → 拉伸 → 并行生成」骨架,则是今天多数非自回归 TTS 系统声学模型的原型。

上图是 Tacotron 2 的整体结构(Shen 等,Google,发表于 ICASSP 2018,arXiv:1712.05884)。图中标注为 Location Sensitive Attention 的那一块就是对齐模块,它夹在编码器与解码器 LSTM 之间;解码器上方两个输出头分别产生 mel 帧与停止标记;图右下侧是 WaveNet 声码器,接收解码器产出的 mel 并生成波形。注意这张图里声学模型的输入是字符而不是音素:模型直接吃字符序列,靠卷积与注意力自己学会字符到发音的映射,所以它对拼写错误、缩写与词边界的鲁棒性完全依赖训练数据。
地基:mel 频谱为什么成为声学模型的标准输出
在讲模型之前,先把 mel 频谱到底是什么讲清楚,因为声学模型的所有结构设计都以它为目标的形状。
一段波形 x[n] 在短时要平稳假设下被切成重叠的帧,每帧做窗函数加权后求傅里叶变换,得到幅度谱 ∣Xk(f)∣。真实语音的低频能量远高于高频,而人耳对频率的感知也不是线性的——1 kHz 以下约按线性分辨,1 kHz 以上按对数分辨。mel 刻度就是模拟这一特性的频率映射:
m=2595log10(1+700f)f 是赫兹频率,m 是 mel 刻度。Tacotron 2 的 mel 谱用 50 ms 帧长、12.5 ms 帧移、Hann 窗做短时傅里叶变换,取 80 个 mel 通道;FastSpeech 2 在 22.05 kHz 的 LJSpeech 上用 1024 点 FFT、256 采样点的帧移(约 11.6 ms),同样输出 80 维。两者都落在每秒 80 帧附近——这是所有 TTS 声学模型的「时间分辨率」基线:一个 10 秒的句子要生成约 800 帧 mel。Tacotron 2 论文还讨论了改用 5 ms 帧移(与原版 WaveNet 的条件输入对齐),但那样序列长度会增加 2.5 倍、注意力更难学,因此放弃了。
为了把这一维拉成「语言到声学的桥」,可以这样看:一帧 80 维 mel 既包含「这个时刻在发什么音」的频谱包络,也包含「此刻响度多大」的能量信息,但不包含相位与基频周期的精细结构。声学模型的任务,就是在给定文本的条件下预测 Y=(y1,…,yT),yt∈R80。
为什么不让声学模型直接输出波形?答案在维度上。24 kHz 采样一秒是 24000 个采样点,而 80 维 mel 一秒只有 80×80 = 6400 个数值,而且 mel 在感知空间上做了压缩,平滑、低维、具有稳定的局部结构,适合用卷积与注意力建模。剩下「mel 到波形」的高维细节交给专门的条件生成模型,这个分工比让一个模型同时负责两种尺度的工作要稳妥得多。代价是相位与高频细节在 mel 这一步被丢弃——上一篇文章讲的声码器逆问题正是这个代价的体现。
时长如何从输出长度反映出来。mel 的输出长度 T 不是模型自定的超参数,而是由「说多久」决定的:一个 10 秒的句子就是 800 帧。在 Tacotron 里,这个长度通过停止标记(stop token)在推理时动态确定;在 FastSpeech 里,它等于各音素时长的和。前者把长度交给模型「判断是否讲完」,后者把长度交给「时长预测」,这两种做法的可靠性差别,几乎是两种范式全部工程差异的来源。
另一个数字是对齐。字符序列、音素序列的长度与 mel 帧数差了一个数量级:一句 10 秒的话也许只有 30~60 个音素或字符,却有 800 帧 mel,每个音素平均要「占用」十几帧。声学模型必须知道每个音素对应哪一段帧,才能把音素的可辨识特征正确地铺开到时间轴上。这正是 Tacotron 与 FastSpeech 两种范式的根本区别所在:前者让注意力自己学出对齐,后者把对齐显式预测出来。
Tacotron 2:用注意力把音素「唱」到时间轴上
Tacotron 第一代(Wang 等,Google,2017,arXiv:1703.10135)的结构是一个标准的序列到序列模型:编码器把字符序列编码成隐状态,解码器第 t 步以第 t−1 帧为输入,计算它与编码器所有位置的注意力权重,加权求和得到上下文向量,再与上一帧拼接后送入解码器 RNN,输出第 t 帧频谱。Tacotron 1 的注意力用的是加性注意力,解码器输出之后还接一个 CBHG 后处理模块。它在英文上能合成可懂的句子,但注意力不稳、对长句容易崩塌,mel 谱直接输出、也没有可靠的停止判据,这两点后来都被 Tacotron 2 修正。
编码器:三层卷积加一层 BiLSTM
Tacotron 2 的编码器小而简单。字符序列先经过一个可学习的嵌入表得到 N×512 的字符嵌入(规范化的文本,数字被拼写为英文单词,例如「16」写成「sixteen」)。然后是三层一维卷积,卷积核宽度为 5、通道数 512,每层后接 BatchNorm 与 ReLU——卷积的作用是捕捉局部上下文,也就是相邻字符之间的协同发音效应。最后接一层双向 512 维 LSTM,输出序列 h1,…,hN,每个位置的隐状态代表「这个字符连同它前后的邻域」。
编码器输出之后还会经过线性变换,生成注意力用的键(key)与值(value)。这就是 Tacotron 2 与 Transformer 解码注意力不同的地方:它在解码器上做的是 Bahdanau 式加性注意力(additive attention),而不是缩放点积注意力;而且打分里还额外拼进了位置特征。
解码器:前一帧 + 上下文向量 → 下一帧
解码器是两层 1024 维的 LSTM,用概率 0.1 的 zoneout 正则。第 t 步的输入是「上一帧 mel 经过 pre-net 的输出」与「注意力上下文向量 ct」的拼接。pre-net 是两层 256 维 ReLU 全连接,推理时在 pre-net 上以 0.5 的概率施加 dropout,用来在每一步引入少量随机性,让合成结果不会每次都一模一样;论文特别指出,pre-net 作为信息瓶颈对注意力能够学成至关重要——如果上一帧的全部信息都能直达解码器,模型就会倾向于复制上一帧,而不是去读音素。上下文向量 ct 每步重新计算,所以解码器每一步都「看」一次整条音素序列。
Tacotron 2 没有直接用 Bahdanau 加性注意力,而是用 位置敏感注意力(location-sensitive attention),它在加性注意力的打分里额外加入一个由前一步的累积注意力权重卷积得到的位置特征。设累积注意力为 βt−1,i=∑t′<tat′,i,则:
et,i=v⊤tanh(Whi+Ust−1+Vft,i+b),at,i=∑j=1Nexp(et,j)exp(et,i)ft,i=Conv1D(βt−1)i,ct=i=1∑Nat,ihi这里 hi 是编码器第 i 个字符位置的隐状态,st−1 是解码器上一步的输出,v、W、U、V、b 是可学习参数,ft,i 是位置特征,论文用 32 个长度为 31 的一维卷积核从累积权重里算出它,注意力打分的隐藏维度为 128。直觉是:解码器每一步都在问「当前这一帧应该来自句子里的哪个位置」,加性注意力用一个小型前馈网络给每个候选位置打一个「匹配分数」,再做 softmax 归一化成权重;而位置特征 ft,i 是一个强制先验——「上一帧关注过的地方,这一帧大概率还在附近」,它把注意力的搜索空间压到一条单调推进的窄带里,避免模型在长句上「回头」或「原地打转」。
得到上下文向量后,它与解码器输出拼接起来,通过一个线性层投影成 80 维 mel 帧;同一份拼接结果再经一个线性层投影成一个标量、过 sigmoid,得到「输出序列是否已经结束」的停止概率(stop token)。推理时,第一个停止概率超过 0.5 的帧就是句子结束,生成到此终止——这就是自回归生成长度的唯一判据。mel 帧还要再过一个 5 层卷积残差网络 post-net:每层 512 个 5×1 卷积核,输出加到网络预测上,修正细节、缓解每帧独立预测带来的平滑。

这张图不是 Tacotron 的原始图,而是非自回归模型 ParaNet 的逐层注意力示意(图来自 arXiv:1905.08459),放在这里是为了帮助理解注意力对齐是什么样子。横轴是时间步、纵轴是文本位置,颜色深浅表示注意力权重;第 1 层的分布还比较散(由位置先验主导),到第 4 层已经收紧成一条对角线——每个时间步只盯着一个文本位置。Tacotron 的注意力是逐层叠加后的单层结果,但训练收敛后同样会呈现这种「单调向前推进」的对角条纹;条纹的宽度与偏离,就是 Tacotron 系列为什么会跳字、重字的原因。
为什么自回归会跳字、漏字、重复
关键在注意力对齐的稳定性。解码器每一步都依赖上一帧的输出,注意力分布一旦在某个位置「卡住」,后续每一帧就会继续关注同一个音素,于是同一个音素被反复发声,这就是重复。反过来,如果某一步注意力向前跳了两三个位置,被跳过的音素就再也不会有帧去关注它,于是漏字。长句越容易出事,因为对齐路径要跨过更多位置,注意力出错的机会更多。
把注意力权重矩阵 A∈RT×N 画出来,理想的对齐是一条沿对角线单调向右推进的窄带:第 t 帧大致只关注第 i(t) 个字符。模型学到的往往是一条模糊带,带宽在相似音素连续出现的地方变宽。一旦某一步的注意力峰值落在带外——例如在双元音 a→i 的过渡段,模型不确定该关注前一帧还在发声的 a 还是已经开始的 i——解码器就会「补一帧旧音」或「跳一帧新音」,这就是错误开始的地方。
错误之后有两种命运。如果注意力随后回到正常路径,多出来的那一帧表现为轻微的拖音,人耳不一定察觉;如果注意力偏离后一去不回(例如滑到句子末尾的标点上),就会产生整段重复。在系统评测里,这类错误通常以「句错误率」统计:一句话里有任意位置出错的概率。这也是为什么后来的研究要引入单调对齐损失、引导注意力、注意力权重裁剪——它们都在用不同的方式给 A 加上「单调、窄带、向前」这三条约束。
Tacotron 2 论文中用了两个技巧缓解这一问题。其一是停止标记:解码器每一步都判断「句子是否已经说完」,如果说完就停止,避免继续生成多余的帧。其二是位置敏感注意力——在注意力打分里加入由 累积注意力权重 βt−1,i 卷积得到的位置特征,鼓励对齐沿着时间单调推进。这两个技巧能大幅减少错误,但无法从结构上消除:自回归依赖的链条存在,误对齐就会沿着链条传播。注意 Tacotron 2 不使用注意力权重裁剪或单调对齐约束,所以位置敏感注意力只是「软」的先验,在语义模糊处(连续相似音素、长停顿)仍可能出现偏差。
另一个代价是推理速度。80 Hz 的 mel 需要逐帧串行生成,一句 10 秒的话要跑 800 次解码器前向,每次前向都要与整条音素序列算注意力。自回归也让 GPU 无法充分并行:每步只产出 80 个数值,一次前向的大部分计算花在注意力和小矩阵乘上,批大小又受显存与延迟目标限制。Tacotron 2 论文本身没有给出推理延迟数字,但它的整体结构就是逐帧串行的,后来的对比实验反复印证了这一点。
Tacotron 2 的意义
Tacotron 2 的历史地位在于两点。第一,它第一次把端到端文本到 mel 的合成做到了接近真人的水平,论文报告的 MOS 为 4.526,对比真人的 4.582、拼接式合成的 4.166 与「语言特征 + WaveNet」的 4.341,在统计意义上与真人录音没有显著差距;训练数据只有 24.6 小时、单一职业女性发音人的内部录音。第二,它建立了「文本 → mel → 波形」这套标准链路,所有后来的语音合成系统都在这个框架内做改进。FastSpeech 系列并没有推翻这个框架,而是把 Tacotron 里由注意力隐式学出的对齐,换成了显式的、可预测的时长。
FastSpeech:先预测每个音素说多长
FastSpeech(Ren 等,Microsoft 与浙江大学,发表于 InterSpeech 2019,arXiv:1905.09263)的思路可以从一个问题直接导出:如果知道每个音素对应几帧 mel,那整句的输出长度就是各音素时长之和,模型就可以一次前向生成全部 mel,不需要逐帧自回归。
整个系统分成两步:声学模型本身负责「音素 → 拉伸后的音素序列 → mel 帧」,而每个音素的时长则由一个时长预测器(duration predictor)产出。训练时长预测器最困难的地方是没有标注:数据集里只有文本与对应的录音,没有人会去标注「第 7 个音素持续了 0.18 秒」。FastSpeech 用的办法是教师模型 + 注意力对齐提取:先用一个自回归的 Transformer TTS 教师模型(6 层编码器 + 6 层解码器,参数量与 FastSpeech 接近)把文本与录音对齐,在教师模型的注意力权重上提取对齐,得到每个 mel 帧归属的音素索引,同一音素对应的连续帧数统计出来就是该音素的时长。这一步本质上把「自回归教师学到的隐式对齐」蒸馏成显式时长,因此训练主模型需要的只是音频与文本,不需要人工时长标注。

上图是 FastSpeech 原论文中的时长预测器((d) Duration Predictor)。图中上部是训练阶段才存在的时长提取器(对应教师模型的对齐提取),下部是预测器本体:输入是编码器输出的音素隐状态,经过两层 Conv1D 与非线性、层归一化,最后由线性层输出每个音素的时长;训练时以教师模型提取的时长作为回归目标计算均方误差,推理时这个输出直接进入长度调节器。论文的图注特意说明:这个 MSE 损失只存在于训练阶段,推理时不参与计算。时长在回归前先转换到对数域,让时长分布更接近正态,回归也更容易。
长度调节器与并行生成

上图是 FastSpeech 论文中的 Feed-Forward Transformer((a) FFT)结构:图中上方是完整的一对编码器与解码器,各自由若干个 FFT Block 堆叠而成,最后由线性层输出 mel;每个 FFT Block 由多头自注意力与两层一维卷积(ReLU 激活)组成,卷积核沿时间轴滑动,比 Transformer 的逐位置全连接更适合声学特征;论文的配置是编码器与解码器各 6 个 FFT block,音素嵌入与注意力隐藏维度均为 256、注意力头数为 2。编码器负责把音素序列编码成音素级隐状态;解码器同样堆叠 6 层,在拉伸后的帧级序列上做同样的自注意力建模。它与 Transformer 的差别在于:解码端不再使用因果掩码,因为整段 mel 是一起生成的,帧与帧之间可以互相看到;前馈网络用两层一维卷积替代逐位置全连接,对相邻帧之间更紧密的声学关联更友好。
长度调节器(Length Regulator)实现的逻辑非常直接:音素 i 的时长 d^i 是多少,这个音素的隐状态就在输出序列里复制多少次。设音素序列的隐状态为 x1,…,xN,时长为 d1,…,dN,调节后的序列长度为 L=∑idi。第 i 个音素的隐状态被复制 di 次后写进输出序列,等于「这个音素说了 di 帧」。
用公式写出来,定义重复算子 R:
[R(x,d)]k=xi,j<i∑dj<k≤j≤i∑dj即第 k 帧的输出取「覆盖它的那个音素」的隐状态。论文把速度系数 α 也吸收进这个算子:实际生效的时长是 di(α)≈round(αdi),α>1 就是整体放慢,α<1 就是整体加快。论文给出的例子很直观:音素隐状态序列 Hpho=[h1,h2,h3,h4] 对应时长 D=[2,2,3,1],α=1 时展开为 [h1,h1,h2,h2,h3,h3,h3,h4],共 8 帧;α=1.3 时每条时长变为 [2.6,2.6,3.9,1.3]≈[3,3,4,1],展开成 11 帧;α=0.5 时则是 [1,1,1.5,0.5]≈[1,1,2,1],展开成 5 帧。
这个操作的可微性是整条架构成立的前提。重复算子 R 本身是线性的,梯度会按重复次数累加回原音素:如果某个音素说了 5 帧,那么这 5 帧上的梯度全部加到这个音素的隐状态上,主编码器与解码器因此可以直接端到端训练。时长则被当作「外部给定的常量」——训练时来自教师的注意力对齐,推理时来自时长预测器。如果反过来让时长从可学习注意力的软对齐里求期望,梯度就要同时穿过「重复算子 + 取整」,训练会不稳定;把时长外化成「先算好、再查表」的整数,重复算子就只是一个数据重排。
重复带来的一个直接后果是:拉伸后相邻帧完全一样,解码器若只看局部就会输出整段平坦的 mel。解决它的方法是重新按帧注入位置编码,并在解码器里保留完整自注意力,让每个帧都能看到整句的上下文;帧与帧之间的声学变化(共振峰过渡、音质渐变)就由这些上下文把「同一个音素的隐状态」解码成不同的帧。
这带来两个工程上的好处。第一,解码器的输入长度已经等于输出 mel 长度,所有帧可以一次性并行计算,推理不再有自回归依赖。第二,语速控制变成了一次乘一个系数:推理时把时长预测器的输出乘以 α>1 就放慢语速,乘以 α<1 就加快;如果只对部分音素(例如句子之间)应用系数,就可以在停顿处做拉伸而不改变字内的发音。这是 FastSpeech 相对 Tacotron 的最大工程优势——对齐是显式的、可编辑的,不再是注意力里的隐变量。
结构设计里有几处取舍值得讲。第一,时长预测器作用于音素序列而不是帧序列,输入长度只有几十到几百,计算量小,而且音素级形态比帧级更稳定。第二,编码与解码用两段不同的 FFT 块:先在音素级上下文学清楚语义,再展开到帧级建模声学细节,这是分层建模,避免了让长序列的自注意力承担全部建模成本。第三,拉伸之后的位置编码需要重新按帧注入。原本音节位置在拉伸后失真,如果继续沿用音素级位置编码,解码器看到的相对位置就是错的。
非自回归为什么能成立:一对多问题的两种处理
自回归与并行生成的差别,本质上是对「一对多」映射的两种处理方式。同一段文本可以对应无数种合理的语音:同一个「你好」可以说得快或慢、高或低、热情或冷淡。自回归模型用前一帧的输出作为下一步的输入,每次采样自然落到其中一种具体说话方式上,因此不需要显式给出「说话方式」,但代价是逐帧串行。
并行模型没有上一帧可以看,只能从「文本 + 显式给出的风格信息」一次性决定整段。于是它必须回答一个问题:风格信息从哪里来。FastSpeech 1 的做法是知识蒸馏——让模型去模仿教师输出的 mel,等于强迫学生生成「教师那一种说话方式」;FastSpeech 2 的做法是显式建模——把时长、音高、能量当作条件逐帧、逐音素给出,模型就不必自己猜说话方式。这也解释了为什么 FastSpeech 1 的合成显得「平」:蒸馏目标本身是一条被平均的、缺少方差信息的轨迹。
从系统角度看,「一对多」还有一个实际好处:可控性。自回归模型只能通过温度、top-k 之类的采样参数间接影响说话方式;并行模型把「快慢」「高低」「强弱」变成了三个可以直接赋值或平均的向量,所以能按请求逐句控制。这是今天的 TTS 服务能把「语速 ×1.2」「用平静的语气」当成 API 参数传下来的结构前提。
推理延迟:瓶颈从声学模型转移到声码器
FastSpeech 在推理延迟上给出了系统性的结果。论文在 LJSpeech 上,用自回归 Transformer TTS 作对照:在单块 V100、批量大小 1 的服务器上,生成一段平均约 560 帧的 mel,Teacher 的延迟为 6.735 秒,FastSpeech 为 0.025 秒,约 269 倍加速;再接上 WaveGlow 声码器做端到端合成,延迟从 6.895 秒降到 0.180 秒,仍有约 38 倍加速。音质上,FastSpeech 的 MOS 为 3.84,Teacher 为 3.88,差距在置信区间内。这组数字第一次让「声学模型不再是整条 TTS 链路的瓶颈」成为现实:瓶颈回到了声码器,这也解释了为什么 2019 年之后声码器一侧的研究如此密集。
FastSpeech 的三个结构性缺陷
FastSpeech 的缺点也很明显,FastSpeech 2 论文把它总结为三条。
第一,教师-学生蒸馏流程复杂且耗时:要先训练教师、跑一遍对齐提取,再训练学生,整体训练时间被拉长。
第二,从教师注意力里提取的时长不准。注意力是软的对齐,在连续相似音素处会糊在一起,提取出的时长在局部有系统性偏差。
第三,蒸馏目标有信息损失:学生学的是教师输出的平滑 mel,而教师本身就把多种可接受发音「平均」掉了,学生因此继承了一个被压缩过的目标,音质上限被锁在教师之下。
此外,FastSpeech 完全丢掉了音高与能量的建模,所以语调平淡、强调不自然。FastSpeech 2 的扩展与这几条一一对应:用 MFA 强制对齐替代教师时长提取,去掉蒸馏直接用真实 mel 训练,并用方差适配器把音高与能量补回来。
FastSpeech 2:让时长、音高与能量都显式建模
FastSpeech 2(Ren 等,Microsoft,发表于 ICLR 2021,arXiv:2006.04558)针对 FastSpeech 1 的三个问题做了结构性扩展:用强制对齐直接从录音测量得到的时长替代教师注意力提取的时长;去掉教师蒸馏,直接用真实 mel 作为目标训练主模型;加入音高、能量与时长三个方差预测器,把被 FastSpeech 1 丢掉的韵律信息补回来。

上图是 FastSpeech 2 与 FastSpeech 2s 的结构总览(图来自 FastSpeech 2 原论文,(a) 部分)。左侧是音素序列及其嵌入,经过若干层音素级编码器得到音素隐状态;中间上方是方差适配器(variance adaptor),用三个预测器分别产生时长、音高与能量;时长进入长度调节器,把音素序列拉伸到帧级长度;右侧的 mel 解码器并行输出 80 维 mel。与 FastSpeech 1 相比,图里多出来的三个方差预测器就是这一代的主要结构增量:长序列的方差信息不再被一个平均时长与无条件的声学模型吞掉。
从录音里直接测量时长
训练数据里没有时长标注,但录音与文本的对应关系是现成的。FastSpeech 2 直接用开源工具 Montreal Forced Aligner(Montreal forced alignment,MFA)在训练集的「文本-音频」对上做强制对齐:对每个音素,在语音上定位它对应的帧区间,直接统计帧数作为时长目标;MFA 在这份训练集上单独训练,不需要外部标注数据。从信号上量出的时长比从教师注意力里「读」出的时长更贴近真实发音。论文的 Table 5 给出了有力的对照:在 50 条教师生成的音频上人工做音素级对齐,再分别用教师提取的时长与 MFA 提取的时长对比人工边界,平均绝对边界误差分别是 19.68 ms 与 12.47 ms;把 FastSpeech 的时长换成 MFA 时长之后,CMOS 提升 0.195(对照的两组模型都用教师生成的 mel 训练,只换了时长来源)——也就是说,单是「时长更准」这一件事就能听出差别。
音高与能量的提取方式略有不同。音高用每帧的基频 F0 作为目标,但 F0 的原始估计噪声大、缺帧多,FastSpeech 2 对 F0 曲线做连续小波变换(CWT)把它拆成一张音高谱图,让预测器回归这张谱图,推理时再用逆连续小波变换(iCWT)还原成 F0 曲线——在频域里预测比直接回归剧烈波动的 F0 更容易;能量则用每帧短时能量的归一化值。三个目标都是连续的实数,用均方误差回归。
方差适配器:时长、音高与能量
三个预测器共享同一套结构(图 1(c)):两层一维卷积 + ReLU + 层归一化 + dropout,最后接一层线性输出。它们的输入是音素级编码器输出;论文表述的意图是让预测器只负责「读方差」,而不扭曲主编码器的表示。时长预测器的输出先取对数再做回归,音高与能量则直接回归实数。更关键的是,训练时参与长度调节与解码的是从录音中提取的真实时长、音高与能量,而不是预测值;预测器只在推理时被使用(论文中三个预测器共享结构但不共享参数)。这样训练的声学模型不会受到自身预测误差的污染,推理时把预测器打开就能复现训练时的分布。
三个量各自进入不同位置,这个分工决定了它们的控制作用:
- 时长:作用在长度调节器上,决定整个输出序列的长度。推理时乘一个系数 α 就得到说话语速的变化,乘在句子之间的停顿上就能单独拉长停顿。
- 音高:参与长度调节之后,在帧级序列上与音素嵌入相加,再送入解码器。推理时改变这个帧级 F0 序列,就得到不同的语调曲线。
- 能量:与音高相同的注入方式,决定每个音节的响度。
论文用标准差、偏度、峰度与动态时间规整(DTW)距离来衡量合成语音的音高分布:真实录音的标准差为 54.4,FastSpeech 2 生成语音为 54.1,而 FastSpeech 只有 50.8;峰度上真实值为 0.977,FastSpeech 2 为 0.996,FastSpeech 则为 -0.041 这一明显偏离的负值;DTW 距离 FastSpeech 2 为 24.39,优于 FastSpeech 的 24.89。作为对照,去掉 CWT 的 FastSpeech 2 变体标准差只有 42.3、峰度 1.115,说明连续小波变换平滑对音高建模是有效的。能量方面,生成语音与真实语音的逐帧能量平均绝对误差从 FastSpeech 的 0.142 降到 0.131。论文还指出,方差适配器可以继续扩展,把情感、风格与说话人这些信息也作为条件放进来——这正是后来「风格化 TTS」「情感 TTS」的结构基础:风格本质上就是若干方差序列的统计量。
并行解码与推理成本
拉伸后的序列进入 mel 解码器,由若干 Transformer 层并行输出整段 mel。论文在 LJSpeech 上的具体配置是编码器与 mel 解码器各 4 个 FFT block,音素嵌入与自注意力隐藏维度 256、注意力头数 2,FFT block 内两层一维卷积核宽分别为 9 与 1、中间扩展维度 1024;解码器输出层线性投影到 80 维 mel,训练目标是对真实 mel 的平均绝对误差(MAE);音高与能量的方差预测器叠在音素级表示上,时长则进入长度调节器。由于没有自回归依赖,推理时各帧一起计算,GPU 利用率高。论文在 LJSpeech 上给出的对比(都是 mel + Parallel WaveGAN 声码器)是:Tacotron 2 的 MOS 为 3.70、Transformer TTS 为 3.72、FastSpeech 为 3.68,而 FastSpeech 2 为 3.83;CMOS 上 FastSpeech 2 比 Transformer TTS 高 0.235 分、比 FastSpeech 高 0.885 分。推理速度上,在 36 核服务器、单块 V100、批量大小 1 的条件下,FastSpeech 2 的实时率(RTF,合成一秒波形所需秒数)为 1.95×10−2,相对 Transformer TTS 的 9.32×10−1 是 47.8 倍加速,与 FastSpeech 的 48.5 倍基本持平——也就是说扩展方差适配器几乎没有带来推理开销。训练侧,FastSpeech 2 训练耗时为 17.02 小时,FastSpeech 为 53.12 小时(包含教师),约 3 倍加速。
这组数字也说明并行化收益的来源不只是「并行」,而是「把串行步数从注意力链上摘掉」。Transformer TTS 的 RTF 接近 1,意味着自回归解码时一秒音频要花约一秒时间,瓶颈就在逐帧的 attention 循环;FastSpeech 一次前向就出全部帧,计算量集中为几层帧级自注意力,因此可以高效利用 GPU。对推理系统而言,这意味着声学模型的成本结构从「随帧数线性增长的串行延迟」变成了「随帧数平方增长、但可高度并行的计算量」——长句依然要付出更多计算,但延迟不再被串行链拖住。
1推理路径对比(同一句约 560 帧的 mel):2
3Tacotron 2: 文本 → 编码器 → [解码 T 步, 每步重算注意力] → 停 → mel4FastSpeech: 文本 → 编码器 → 时长预测 → 长度调节 → 解码器(1 次前向) → mel5FastSpeech 2: 文本 → 编码器 → 时长/音高/能量预测 → 长度调节 → 解码器(1 次前向) → mel6
7延迟账(FastSpeech 论文, V100, batch=1, 约 560 帧):8 Transformer TTS (自回归) 6.735 s → 1.00x9 FastSpeech (并行) 0.025 s → 269x10 + WaveGlow 声码器后 6.895 s → 0.180 s → 38x两种范式的核心对比
| 维度 | Tacotron 2 | FastSpeech(一 + 二代) |
|---|---|---|
| 对齐方式 | 注意力隐式学出 | 显式时长 + 长度调节器 |
| 生成方式 | 逐帧自回归 | 一次前向并行 |
| 推理速度 | 慢,逐帧串行 | 快,帧级并行(mel 约 269 倍加速) |
| 长句稳定性 | 易跳字、重复 | 稳定,对齐不再经注意力传播 |
| 韵律建模 | 无显式音高能量 | 二代加入音高/能量/时长 |
| 时长来源 | 无需标注 | 一代:教师注意力提取;二代:强制对齐测量 |
| 训练依赖 | 简单,无需对齐步骤 | 一代需自回归教师;二代需强制对齐工具 |
| 主要失败模式 | 对齐崩塌 | 时长预测偏差、mel 平滑过度 |
Tacotron 2 的优点是它的自由度来自数据:面对新语言、新口音,只要数据够,注意力会自己学出合理对齐;但这份自由度也带来训练不稳定与推理不可控。FastSpeech 把对齐「外化」成显式时长,模型变简单、推理变快、可控性变强;代价是需要额外的对齐步骤,以及时长预测器自身的误差——当预测的时长与真实节奏偏离时,合成语音会显得「拖」或「赶」。
两条路线后来也没有互相取代。Tacotron 2 的注意力结构演化出了更稳定的变体(位置敏感注意力、引导注意力、单调对齐损失),非自回归一侧则向更细的方差建模继续演进。今天多数非自回归系统的声学模型骨架都是 FastSpeech 2 式的:先预测时长,再把音素展开成帧,最后并行生成 mel,音高与能量则作为可选条件注入。
一个关键工程细节:文本前端与声学模型的耦合
无论走哪条范式,声学模型的输入都不是「原始文字」,而是经过文本前端处理后的音素序列(Tacotron 2 直接吃字符,但同样依赖规范化)。前端承担的工作包括:数字与单位展开(「2025 年 3 月」念成「二零二五年三月」还是「二千零二十五年三月」)、多音字消歧(「银行」与「行走」)、缩写展开、中英混读的分段、标点对应停顿。前端输出的每一个音素都会占用长度调节器里的一段时长或解码器里的一段注意力,前端的错误会被声学模型原样放大,而这类错误在听感上比声学模型自身的误差更刺耳,因为它听起来像「读错字」,而不是「声音不自然」。
从系统设计看,这带来一个被低估的取舍:前端做得越激进(大量规则修正多音字、数字、语气词),出错面就越大;前端做得越保守,声学模型就越依赖训练数据里见过的读法。工业系统常用「词典 + 规则 + 少量模型」的混合前端,并把前端错误作为独立的评测维度——声学模型的 MOS 再高,也弥补不了读错字。
Tacotron 2 之所以能「直接吃字符」,恰恰是因为它把前端的部分工作交给了模型自己学:模型在训练数据里看到「16」对应的音频是「sixteen」,就会自己在字符嵌入里学到这段映射。代价是这种隐式学习依赖训练数据覆盖面:没见过的缩写、地名、外文词,模型只能按训练分布去猜,而它的输出是频谱,听感上会出现「含糊的拼读」而不是明确的错误提示。FastSpeech 系列通常显式使用音素输入,前端就是唯一的读音来源,因此「谁负责读音」这个问题被彻底从模型里移了出去。
这也是今天语音合成系统里「端到端」一词往往并不彻底的原因:文本前端仍然是一段手写规则占比很高的模块,声学模型与声码器才是神经网络。理解了这一点,才能理解为什么同一个声学架构换一种语言就要重做前端,也才能理解为什么「多语言 TTS」的难点经常不在模型而在前端。
推理侧的成本账
从系统角度看,声学模型的推理成本有几项可计算的量。
输出长度。句子的 mel 帧数是 ∑idi,其中 di 是第 i 个音素的时长。英文新闻播音的语速通常在每秒 14~16 个音素,一秒语音约对应 80 帧 mel,平均每个音素占 5 帧上下,一句 10 秒的话约 150 个音素对应约 800 帧 mel。FastSpeech 2 的时长预测器要在音素长度(约 200)上一次性输出全部时长,而不是在帧长度(约 800)上逐帧决策,计算量小一个量级。
解码器计算量。并行解码的主要成本是解码器在帧长度上的自注意力。若解码器有 L 层、隐藏维度 d、帧数 T,自注意力项约 O(LT2d),以 4 层解码器、800 帧、256 维为例,投影与注意力乘加合计约 42 亿次量级,在现代 GPU 上不过是毫秒级前向;但长句、长文与语音克隆不断推高 T,这一项会按平方增长并成为主要瓶颈。这也是后续很多工作把帧级注意力换成卷积、局部窗口注意力、或者做分块并行解码的原因。
自回归步数 vs 并行长度。Tacotron 2 每一步只生成 80 个 mel 值,串行 800 步才能完成一句 10 秒的话;每步都要针对整个音素序列计算注意力,单步计算量小但延迟随句子线性增长,且每一步都要等待前一步的 LSTM 状态。FastSpeech 2 一次前向生成全部帧,延迟不再随句子长度线性增长,瓶颈变成了帧级自注意力的平方计算量——FastSpeech 论文在平均 560 帧的句子上的实测是 Teacher 6.7 秒对 0.025 秒,可以直观看到串行链与并行前向的差距。
方差预测器的额外开销。FastSpeech 2 有三个小预测器,每个都是两层卷积 + 一层线性,输入长度是音素数而非帧数,加上强制对齐的预处理(只在训练阶段使用),推理时增加的延迟可以忽略——FastSpeech 2 与 FastSpeech 的 RTF 几乎相同正是这一点的直接证据。
流式与首包延迟。上面算的都是「整句合成」的成本。在对话式系统里,用户希望听到第一个字的时间越短越好,于是声学模型必须支持分块推理:先拿到前几个音素,预测时长,合成前一段 mel,交给流式声码器。分块推理有两个额外代价:块边界的声学连续性需要上下文重叠来补齐,块数越多重叠开销越大;时长预测在只看到部分文本时精度下降,需要预留与修正。这两个问题在 Tacotron 这样的自回归结构里可以直接「边生成边出声」,但在 FastSpeech 式的并行结构里要专门设计块边界与缓存。
在真实的服务系统中,声学模型的输出还要经过声码器才能得到波形,而这条链路的下一层还有流式声码器以及更上层的小语言模型。关于语音生成与流式合成的整体结构,可参考 CosyVoice 2 架构拆解:一条语音是怎么边想边说的;关于「把声音压成离散 token 再用语言模型生成」的另一条路线,可参考 音频生成的离散 token 路线:RVQ 编解码器与 codec 语言模型的架构拆解。
从这两个架构出发还能往哪里看
Tacotron 2 与 FastSpeech 2 都没有「盖棺定论」,它们提出的结构问题后来在两条路径上继续被追问。
更稳的对齐。Tacotron 式的注意力对齐后来演化出一组显式约束:单调对齐损失要求对齐路径按时间单调推进,引导注意力强制对齐先验,注意力权重裁剪禁止回头。这些做法把「注意力自己学对齐」的灵活性保留下来,同时把它的失败模式压到很小。它们与 FastSpeech 的关系是「同一目标的不同实现」——都可以看成是「先把对齐定下来,再生成」。
更强的韵律。FastSpeech 2 的方差适配器只放了时长、音高、能量三个量。后来的工作把情感、风格、说话人嵌入、语速曲线继续塞进这个适配器,或者把方差预测器换成更强的结构。这条线的核心问题是:方差信息本身没有标注,怎么得到「可泛化的风格」而不只是「复现训练样本的极端值」。
更低的延迟。并行声学模型把瓶颈推给了声码器之后,流式与端到端成为主线:声学模型分块出 mel,声码器边收边出声,甚至直接把文本变成波形(FastSpeech 2s 就是一次尝试)。这些系统的共同难题是「块边界」与「前端到后端的时延同步」,与前面讲的流式推理是同一套账。
与语言模型结合。近两年语音生成的一大变化是把声学部分交给自回归语言模型处理(如把离散的语义 token 交给 LLM 生成,再由声学模块接续)。这条路线与本文讲的「文本到 mel 的声学模型」是两种不同的抽象层级,但共享同样的根本问题:文本长度与声学长度的对齐、韵律信息的显式与隐式、以及串行与并行的取舍。
小结
语音合成里的声学模型要解决的是「文本怎么变成时间轴上的声学特征」这个对齐与生成问题。Tacotron 2 用位置敏感注意力在字符序列上自回归地生成 mel,让模型自己学出对齐,证明了端到端合成可以达到接近真人的音质;FastSpeech 把对齐从注意力中解耦出来——一代用教师注意力提取时长,二代用强制对齐从录音测量时长——再通过长度调节器把音素序列拉伸成帧序列并行生成,二代还用音高与能量预测器补上韵律建模。两者代表了「学对齐」与「预测对齐」两条路线:前者简单灵活但推理串行、长句不稳,后者推理快、稳定、可控,但依赖对齐步骤与时长预测的准确度。把这两者拆开来看,现代语音合成声学模型的每一个结构选择都能找到对应的理由。
参考资料
- Tacotron 2: Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions
- FastSpeech: Fast, Robust and Controllable Text to Speech
- FastSpeech 2: Fast and High-Quality End-to-End Text to Speech
- Tacotron: Towards End-to-End Speech Synthesis
- Non-Autoregressive Neural Text-to-Speech
- WaveNet: A Generative Model for Raw Audio
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



