正在获取所在地区…
正在读取天气
音乐
暂未播放
端到端语音合成的三条生成建模路线:Glow-TTS 的单调对齐搜索、VITS 的变分推断与 Grad-TTS 的分数建模
问题起点:TTS 为什么曾被拆成三段
2017 年前后,神经语音合成(Text-to-Speech,TTS)的主流做法是 Tacotron 2 这类自回归声学模型:文本逐个字符经过编码器与注意力,解码器一帧一帧地吐出 80 维 mel 频谱,再把 mel 频谱交给 WaveNet 之类的声码器还原成波形。这套两段式流程音质很高,但暴露了三个结构性问题,后续的所有并行 TTS 模型本质上都在回答这三个问题。
第一个问题是慢。声学模型自回归,帧数通常是字符数的 10 到 30 倍,一段 5 秒的语音要解码三四百帧,每帧都要跑一遍 Transformer 解码器加一次注意力;声码器同样逐采样点生成,22.05 kHz 采样率意味着每秒要做 22050 次前向。串行结构让 GPU 的大量算力闲置。
第二个问题是对齐不稳。Tacotron 2 靠内容注意力隐式学习”某个字符对应哪几帧”,注意力在长句、重复词、数字和缩写上容易漂移,表现为重复念、跳字、拖长的停顿。这类错误在短句上很少,句子一长就开始明显。
第三个问题是音色与韵律的单一化。自回归模型每次都能生成一段合理的 mel 频谱,但同一句话的时长分布几乎固定,语速、停顿的多样性有限;多说话人场景下还要额外引入说话人嵌入,结构上不够干净。
并行的思路最早由 FastSpeech 一类模型提出:先用一个训练好的自回归模型(teacher)做强制对齐,把每个音素的持续时间抽出来当作标签,训练一个”时长预测器”,推理时按预测时长把文本编码展开成帧级序列,再一次性生成整段 mel 频谱。这条路线把推理从串行变成并行,速度快了几十倍,但代价是依赖外部对齐器:对齐标签来自另一个模型,训练链条变长,对齐错误会被固化进时长预测器。
Glow-TTS 的动机正是把这根链条剪断。单调对齐搜索(Monotonic Alignment Search,MAS)在训练过程中直接从生成模型自身的目标函数里”搜”出对齐,不用任何外部对齐器;而生成模型本身也不再是自回归注意力,而是一族可逆变换——归一化流。这一篇就沿 Glow-TTS、VITS、Grad-TTS 三篇论文,拆解端到端 TTS 的三条生成建模路线:流、变分与扩散,以及它们各自把”文本到语音”这件事做成了什么样的计算图。
前置知识:归一化流、VAE 与扩散在语音里各管什么
三篇论文都建立在同一组概率建模工具上,但用法差别很大。先把三种工具在语音场景里的作用对齐,后面每一节都会反复回到这张对照表。
归一化流:一个可逆的”展平机”
归一化流(Normalizing Flow)是一串可逆变换 f=fK∘⋯∘f1,它把复杂的真实数据分布 x 映射成一个简单的先验分布 z(通常是各维独立的高斯)。因为每一步都可逆,概率密度可以通过变量替换公式精确计算:
logpX(x)=logpZ(f(x))+logdet∂x∂f(x)这里 logpZ 是先验的对数密度,第二项是雅可比矩阵行列式的对数,衡量”体积变化”。流的核心能力是精确似然:给定一个样本,可以算它在这个模型下出现的确切概率,而不像 VAE 那样只能算一个下界,也不像 GAN 那样完全没有似然。对 TTS 的意义在于:训练时的对齐搜索需要一个可精确比较的似然,流的这个性质直接造就了 MAS。
代价是结构受限:每一个变换都得可逆,雅可比行列式还得容易算。工程上用得最多的是仿射耦合层(affine coupling layer):把输入沿通道切成两半 xa,xb,只对 xb 做变换 xb′=xb⊙exp(s(xa))+t(xa),xa 原样保留;逆变换只需要把式子解回 xb,雅可比是三角矩阵,行列式就是 exp(∑s(xa))。另一类常用的是在通道上做可逆 1×1 卷积,作用是打乱各通道的信息,让后续的耦合层能利用到前一层的全部通道。
变分自编码器:一个”近似后验”
VAE 用一个编码器 qϕ(z∣x) 近似真实后验,用一个解码器 pθ(x∣z) 重建数据,优化的目标是证据下界(ELBO):
logpθ(x∣c)≥Eqϕ(z∣x)[logpθ(x∣z)−logpθ(z∣c)qϕ(z∣x)]右侧两项分别是重建项和 KL 散度项。VAE 不要求可逆,结构自由得多;但它只能给出似然的下界,且存在”后验坍缩”的风险——训练中 KL 项被压到很小,潜变量不再携带信息,生成质量下降。
扩散模型:一个”反向过程”
扩散模型(Diffusion Probabilistic Model,DPM)构造一条前向加噪过程,把数据逐步破坏成纯噪声,再训练一个神经网络 ϵθ 或分数函数 sθ=∇logpt 去逆转这个过程。推理时从噪声出发,沿反向过程迭代几十到上千步还原数据。它不需要可逆结构,表达能力最强,步数却是三者的硬成本。
把三者放到 TTS 的语境里,差别可以一句话概括:流是把”文本到语音”编码成一个可逆映射,VAE 是把中间声学表征当成一个被推断的隐变量,扩散是把中间声学表征当成一个需要逐步去噪的噪声副本。Glow-TTS 全部用流,VITS 用 VAE 加流先验加 GAN 解码器,Grad-TTS 用流管文本对齐、用扩散管声学 decoder。站内已有的 扩散模型从零讲起(一) 已经把 DDPM 与 Flow Matching 的数学机制讲得很透,这里不再重复推导;TTS 声学模型:Tacotron 2 与 FastSpeech 2 讲了自回归与并行时长预测两种声学模型的全貌,可以作为本节背景的延伸阅读。
Glow-TTS:用单调对齐搜索把文本与声学帧绑定
Glow-TTS 由 Kim 等人于 2020 年发表在 NeurIPS,论文标题为 Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search。它的目标是同时解决”对齐依赖外部模型”和”自回归解码慢”两个问题,做法是把对齐与生成放进同一个似然目标里联合优化。
整体计算图
Glow-TTS 推理链路只有三块:
- 文本编码器把音素序列 c=c1:Ttext 映射成先验统计量 μ1:Ttext 和 σ1:Ttext,每个音素对应一个高斯分布;
- 时长预测器给出每个音素对应的帧数,把 Ttext 个音素的高斯”展开”成 Tmel 帧的高斯;
- 从展开后的先验里采样 z^,经过流解码器的逆变换一次性得到整段 mel 频谱。

上图截自 Glow-TTS 论文图 1(a),是训练过程的示意。图中上方是 mel 频谱与流解码器这一侧:训练时从真实 mel 出发,经流解码器的逆变换得到潜变量 z;下方是文本编码器,输出每个音素对应的高斯统计量 μi,σi;中间的”Monotonic Alignment Search”负责把 Tmel 帧的 zj 一一指派给 Ttext 个音素,对齐确定后各音素的持续时间也随之确定。推理时改走另一条路:时长预测器给出每个音素的帧数,从展开后的先验采样,流解码器正向运行把 z 变成整段 mel 频谱。
训练目标:从全局似然到可解的分解
Glow-TTS 定义了数据到先验的可逆映射 fdec:z↦x,因此 mel 频谱的精确对数似然是
logPX(x∣c)=logPZ(z∣c)+logdet∂x∂fdec−1(x)关键在第二项 PZ(z∣c)。如果对齐函数 A 已知,A(j)=i 表示第 j 帧的潜变量来自第 i 个音素,先验就是逐帧的独立高斯:
logPZ(z∣c;θ,A)=j=1∑TmellogN(zj;μA(j),σA(j))这里的 N(zj;μi,σi) 是每个音素高斯在帧 j 处的密度。因为高斯密度是两个变量差值的函数,zj 与某个音素的均值越接近,这一帧”归属”该音素的似然就越高——这一点是 MAS 能工作的物理直觉。
但训练时对齐 A 是未知的,同时优化 θ 和 A 是一个非凸的联合最大化问题,计算上不可行。Glow-TTS 把它拆成两个交替的子问题,即 Viterbi 训练(Viterbi training)的思想:固定当前参数,先找最优对齐 A∗;固定 A∗,用梯度下降更新参数。每一步都对”最可能的隐藏对齐”做最大似然,虽然不再保证全局最优,但仍然是原目标的一个良好下界。
单调对齐搜索:动态规划为什么是 O(TtextTmel)
对齐被约束为单调且满射:文本按顺序念,不跳词、不重复。这个约束把搜索空间从”任意指派”缩成了一个”从左上角走到右下角、只向右或向下走”的路径问题,于是可以用动态规划在 O(Ttext⋅Tmel) 内解出来。
定义 Qi,j 为”前 i 个音素与前 j 帧潜变量已对齐”时的最大对数似然。因为第 j 帧只能配第 i 个音素或第 i−1 个音素之后的延续,递推关系是
Qi,j=max(Qi−1,j−1,Qi,j−1)+logN(zj;μi,σi)第一项表示”第 i 个音素从第 j 帧刚开始”,第二项表示”第 i 个音素继续延伸到第 j 帧”。填完 Q 表后,从右下角 A∗(Tmel)=Ttext 往回回溯:在每个格子比较两个前驱的值,记录从哪个格子来,回溯路径就是最优对齐。这一过程与 CTC 的 Viterbi 强制对齐本质相同,只是这里的发射概率换成了高斯密度,而且要求满射(CTC 允许跳过空白帧)。

上面这张图截自 Glow-TTS 论文图 2(a),是单调对齐搜索的一个示意例子:文本统计量与潜变量之间多条合法的单调对齐路径并列画出,每条路径从左下走到右上,只能向上或向右,不能回头。动态规划要找的就是在这个网格里似然总和最大的那条路径。
工程上 MAS 有三个值得注意的性质。其一,它只在训练时运行,推理时完全由时长预测器替代,所以不影响推理延迟。其二,它难以并行,但在 CPU 上即可运行,论文报告每次迭代小于 20 ms,占训练总时间的 2% 以下。其三,它与文本长度和帧长度都相关,长音频会让 DP 表的规模变大,这是训练阶段的内存成本,而不是推理成本。
时长预测器与语音节奏控制
从 MAS 得到的对齐 A∗ 可以算出每个音素的持续帧数:
di=j=1∑Tmel1[A∗(j)=i],i=1,…,Ttext时长预测器以文本编码器的输出为输入,在对数域用 MSE 回归 di。对数域回归让短音素(比如 1 到 2 帧)和长音素(比如 20 帧)的相对误差更均匀,这是 FastSpeech 沿用下来的经验做法。训练时对时长预测器的输入施加停止梯度(stop gradient),保证时长的学习不会反向污染生成模型的对齐目标。
推理时,把预测出的时长乘以一个正数标量就能控制语速,比如 1.25 倍是放慢、0.5 倍是加快,这也是并行时长预测模型相对自回归模型的一个直接优势。
硬单调对齐的代价与适用边界
MAS 的对齐是”硬”的:每一帧只能属于一个音素,而且音素顺序固定、不能跳过。这带来两个直接收益——不会重复、不会跳字,也正因为此,Glow-TTS 才能在长度 800 的分布外文本上保持稳定。但它同时限定了模型能表达的东西。
第一,不能有零时长的音素。满射约束要求每个音素至少占一帧,安静停顿、语气词、呼吸声在训练数据里如果没有对应的音素标签,就只能被折算进相邻音素的时长。这也是为什么后续工作在音素序列里显式插入静音符号(sil/pause)——给静音一个 token,MAS 才有地方安置它。
第二,对齐的粒度被音素钉死。语音里存在大量跨音素的协同发音:一个元音的共振峰过渡会提前出现在上一个辅音的尾段,词的边界也常常不是声学边界。硬单调对齐假设”一个音素块内部统计平稳”,这在多数情况下够用,但在连读、弱读严重的数据上会损失一些自然度。后来的一些工作因此改用软对齐或允许有限跳转的对齐,代价是失去 MAS 的 O(TtextTmel) 简洁性。
第三,对齐假设文本与语音严格同步增长。MAS 的递推只允许”向右”或”向右下”走,这在朗读语音里成立;唱歌、带背景音乐的语音、或者含大量即兴填充词的对话,就未必成立。这也是为什么 Glow-TTS 一类的模型主要面向朗读式 TTS,而不是通用的语音到语音任务。
理解这三条边界,比记住”MAS 很快”更有用:它解释了为什么后来的系统会在文本侧加静音 token、在时长建模上加随机性、在数据侧做更严格的对齐清洗。
解码器结构:为可逆与并行做的工程裁剪
Glow-TTS 的解码器沿用 Glow 系的结构:激活归一化、可逆 1×1 卷积、仿射耦合层,每块依次堆叠。但为了在 80 维 mel 频谱上跑得动,做了两处改动。第一,把 80 通道的 mel 帧沿时间维对半切开,拼成 160 通道再送入流;第二,可逆 1×1 卷积的雅可比行列式计算昂贵,因此在每次 1×1 卷积前把 160 通道分成 40 组、组内独立做卷积,并且让耦合层从两组各取通道做混合,避免信息被阻断。
文本编码器沿用 Transformer TTS 的结构,两处调整:去掉绝对位置编码、改用相对位置表示,以及给 pre-net 加残差连接;末尾接线性层输出 μ 和 σ。
实验结果说明了什么
在 LJSpeech 单说话人数据集上(13,100 条约 24 小时女声),用 Amazon Mechanical Turk 的 9 分制 MOS 评测,结果摘录如下:
| 系统 | MOS |
|---|---|
| 真实录音 | 4.54 ± 0.06 |
| 真实录音的 mel + WaveGlow | 4.19 ± 0.07 |
| Tacotron 2 + WaveGlow | 3.88 ± 0.08 |
| Glow-TTS(T = 0.333)+ WaveGlow | 4.01 ± 0.08 |
| Glow-TTS(T = 0.5)+ WaveGlow | 3.96 ± 0.08 |
四个数字值得解读。真实录音的 mel 再经 WaveGlow 还原,MOS 从 4.54 掉到 4.19,说明声码器本身就是一个天花板,声学模型再好也到不了 4.54。Glow-TTS 在温度 T=0.333 时达到 4.01,超过 Tacotron 2 的 3.88。温度是先验高斯的标准差缩放系数,T 小意味着采样更集中、音质更稳;论文扫描了 0.333、0.5、0.667 三个值,0.333 最好,且任何温度下都不比 Tacotron 2 差。
速度上,Glow-TTS 推理时间几乎恒定在 40 ms 左右,与句子长度无关;Tacotron 2 随长度线性增长。平均而言快 15.7 倍。这个”恒定”来自并行解码:帧数只决定解码器输入的长度,不决定串行步数。
鲁棒性上,论文用《哈利·波特与魔法石》前两章的 227 句话(长度可达 800 token,远超训练长度上界 190)做分布外测试,硬单调对齐保证了长句不跳字、不重复——这是外部对齐器路线难以保证的性质。
多说话人方面,Glow-TTS 在 LibriTTS train-clean-100(247 个说话人、约 54 小时)上给编码器和时长预测器加说话人嵌入,MOS 达到 3.45,与 Tacotron 2 持平,且能按说话人给出不同的时长预测。
Glow-TTS 没解决的问题也很明确:流解码器要同时承担”把先验变成 mel”和”支持精确似然”两类职责,它的参数规模较大(论文附录里约 21.4m 参数,其中大部分在流的耦合层里),且生成结果仍然要经过独立声码器才能变成波形。
VITS:条件 VAE、流与对抗解码器的联合建模
VITS 由 Kim、Kong 与 Son 于 2021 年发表在 ICML,全称是 Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech。它的目标是把 Glow-TTS 没解决的两件事一起解决:一是声学模型与声码器之间的人工边界,二是同一句话只能有一种念法的”一对多”问题。
三段式计算图:先验、后验、解码器

上图出自 VITS 论文图 1(a)。训练链路可以按图中的箭头读成一条链:
- 后验编码器(Posterior Encoder)接收真实语音的线性谱图 xlin(注意不是 mel),用 16 个非因果 WaveNet 残差块压缩成 192 通道的潜变量分布 qϕ(z∣xlin)=N(z;μϕ,σϕ),然后用重参数化采出 z;
- 先验编码器(Prior Encoder)由文本编码器加一个可逆归一化流组成。文本编码器给出音素级隐表示,经过线性投影得到条件高斯;单调对齐搜索给出对齐 A,把音素级高斯展开成帧级先验 pθ(z∣ctext,A);
- 解码器就是 HiFi-GAN V1 生成器,把 192 通道的 z 上采样成波形;判别器用 HiFi-GAN 的多周期判别器,训练时与生成器对抗。
推理链路只保留三块:文本编码器 → 随机时长预测器 → 归一化流 → 解码器。后验编码器和判别器在推理时完全不需要。
损失函数逐个拆开
VITS 的总损失是一句话能背下来的组合:
Lvae=Lrecon+Lkl+Ldur+Ladv(G)+Lfm(G)重建项 Lrecon=∥xmel−x^mel∥1。注意这里比较的是 mel 频谱而不是波形:解码器输出波形 y^,再用固定的 STFT 加 mel 投影算出 x^mel,与目标 mel 做 L1。为什么在 mel 域算而不是波形域?因为 mel 尺度近似人耳响应,在这一域上做 L1 等价于假设数据服从拉普拉斯分布的最大似然,感知质量比波形上的逐点误差更相关;而 STFT 与 mel 投影都没有可训练参数,训练完就不需要了。论文还用了窗口化生成器训练(windowed generator training):不把整段 z 送进解码器,只取随机窗口,避免长句反向传播显存爆炸。
KL 项 Lkl=logqϕ(z∣xlin)−logpθ(z∣ctext,A)。两个高斯之间的 KL 有闭式解,不需要采样估计。这里有一个关键设计:先验不能是简单的高斯,而要套一层归一化流:
pθ(z∣c)=N(fθ(z);μθ(c),σθ(c))det∂z∂fθ(z)流的仿射耦合层把各维独立的简单分布”掰弯”成能贴合真实潜变量分布的复杂分布。论文的消融实验直接量化了这一层的价值:去掉先验编码器里的归一化流,MOS 从 4.50 掉到 2.98,下降 1.52——这不是小幅退化,而是基本不可用的语音。这也解释了为什么 VITS 的计算图里归一化流是一个不可省略的模块,而不是可有可无的改善项。
时长项 Ldur 来自随机时长预测器(Stochastic Duration Predictor),下一节展开。
对抗项 与特征匹配项:对抗项用最小二乘 GAN 的形式,判别器损失 E[(D(y)−1)2+D(G(z))2],生成器损失 E[(D(G(z))−1)2]。特征匹配项在判别器的每一层特征图上算 L1 距离并归一化求和,等价于”在判别器的隐层里做重建”,让生成器的输出与真实波形在多个尺度上对齐。这两项的作用是把解码器的输出从”mel 上看起来对”推进到”波形听起来对”。
VAE 与 GAN 为什么必须一起用
VITS 的损失里同时有 VAE 的重建项与 GAN 的对抗项,这不是为了堆模块,而是两者恰好补对方的短板。
VAE 这一侧负责”内容对不对”:潜变量 z 由后验编码器从真实语音压缩而来,解码器要从 z 重建出对应的 mel 频谱,L1 损失保证音素内容、时长、整体包络与目标一致。但 L1 在 mel 域的最优解倾向于”平均化”——当同一段 z 可能对应多种合理的波形细节(相位、细微的噪声成分)时,L1 会把它们平均掉,听感上表现为发闷、缺少气声与齿音,也就是常说的过度平滑。
GAN 这一侧负责”听起来像不像真人”:判别器只看波形,逼迫生成器产出具有真实语音统计特性的细节,尤其是高频成分与相位结构。特征匹配损失进一步把”像不像”拆到判别器的多层特征上,让生成器在多个时间尺度上都对齐真实波形,而不只是在最终输出上。这比纯 VAE 的逐点重建更能保住细节。
两者也有冲突:对抗训练不稳定,判别器过强会让生成器崩塌;VAE 的 KL 项过强会让潜变量坍缩。VITS 的工程处理是把判别器规模压小(只保留多尺度判别器的第一个子判别器,与多周期判别器组合,周期取 1、2、3、5、7、11),并在解码器最后一层去掉 bias,避免混合精度训练时梯度尺度不稳。这些细节看起来琐碎,却是端到端 VAE + GAN 能稳定训起来的前提。
单调对齐搜索在 VAE 目标下的变形
VITS 沿用 MAS,但不能直接照搬:Glow-TTS 优化的是精确似然,VITS 优化的是 ELBO,两者目标不同。论文重新推导了一遍:在 ELBO 的表达式里,重建项 logpθ(xmel∣z) 与对齐 A 无关,只有 −logpθ(z∣ctext,A) 与 A 有关,所以
argA^max[logpθ(xmel∣z)−logpθ(z∣ctext,A^)qϕ(z∣xlin)]=argA^maxlogpθ(z∣ctext,A^)右侧正是 Glow-TTS 中 MAS 要最大化的那个量,因此原实现可以原封不动地拿来用。这是一个很干净的结论:VAE 目标并没有改变对齐搜索的形式,只是把搜索对象从 x 换成了 z。这也意味着 MAS 的 O(TtextTmel) 复杂度、CPU 上每次 20 ms 以内的开销同样成立。
随机时长预测器:为什么时长也要”有分布”
Glow-TTS 的时长预测器是确定性的:同一句话永远给出同一组时长,语速和停顿的多样性因此消失。VITS 认为”同一句话可以有多种念法”恰恰是语音真实感的一部分,于是把时长当成随机变量来建模。
直接对时长做最大似然有两条障碍。其一,时长是整数,连续可逆变换要求输入是实数,需要先做去量化;其二,时长是标量,一维标量的可逆变换只能做平移和缩放,表达力太弱。VITS 用两个技巧对应:变分去量化(variational dequantization)引入 u∈[0,1)n,把 d 变成 d−u 这样的正实数序列;变分数据增强(variational data augmentation)引入一个与 d 同尺寸的增广变量 ν,在通道维拼接到 d 上,把维度抬高。两个变量由近似后验 qϕ(u,ν∣d,ctext) 采样,训练的优化目标是时长对数似然的下界:
logpθ(d∣ctext)≥Eqϕ(u,ν∣d,ctext)[logqϕ(u,ν∣d,ctext)pθ(d−u,ν∣ctext)]流本身用神经样条流(neural spline flow):耦合层的变换用单调有理二次样条代替仿射映射,参数从 192 维隐层经两层 1×1 卷积和深度可分离卷积残差块得到,每个耦合层输出 29 通道参数,构造 10 段样条区间。样条相对于仿射的额外表达力几乎不增加参数,这是选择它而不是简单线性映射的原因。
推理时更简单:从噪声开始,对随机时长预测器做反向变换得到 d−u,再取整得到整数时长。由于每个音素的时长是独立采样,同一句话每次合成出来的节奏都不一样。
推理侧的成本结构

上图出自 VITS 论文图 1(b),是推理计算图。与训练图对比,后验编码器与判别器消失了,剩下文本编码器、随机时长预测器、归一化流和解码器,全部是并行操作。这让 VITS 的推理延迟与帧数线性相关、与句子长度无关串行步数上完全恒定。
论文在 LJSpeech 上用单张 V100、batch size 1、100 个测试句子测端到端速度:
| 系统 | 速度(kHz) | 实时倍率 |
|---|---|---|
| Glow-TTS + HiFi-GAN | 606.05 | ×27.48 |
| VITS | 1480.15 | ×67.12 |
| VITS(确定性时长预测器) | 2005.03 | ×90.93 |
“kHz”的含义是每秒能生成多少千个采样点,实时倍率是合成速度相对 22.05 kHz 播放速度的倍数。VITS 比”Glow-TTS + HiFi-GAN”两段式方案快约 2.4 倍,确定性时长预测器版本还要再快 35%,减少的这部分开销来自随机时长预测器的采样与流变换。
音质上,LJSpeech 上的 MOS 对比是:
| 系统 | MOS |
|---|---|
| 真实录音 | 4.46 ± 0.06 |
| Tacotron 2 + HiFi-GAN | 3.77 ± 0.08 |
| Glow-TTS + HiFi-GAN | 4.14 ± 0.07 |
| VITS(确定性时长预测器) | 4.39 ± 0.06 |
| VITS | 4.43 ± 0.06 |
VITS 与真实录音只差 0.03,同时高于两段式的 Glow-TTS + HiFi-GAN。确定性时长预测器版本得 4.39,说明随机时长对音质的增量是 0.04,作用是韵律多样性;而整个端到端训练框架的增量(相对 Glow-TTS + HiFi-GAN)是 0.29,说明联合训练的解码器比分开训练的声码器更能利用潜变量里的信息。在 VCTK 多说话人数据集上 VITS 达到 4.38,与真实录音 4.38 持平,而 Glow-TTS + HiFi-GAN 只有 3.76。
消融实验里另一个数字也值得记住:把后验编码器的输入从线性谱图换成 mel,MOS 从 4.50 降到 4.31。相差 0.19,说明潜变量需要更高分辨率的声学细节(线性谱保留全部频率分辨率),这一层信息在被 VAE 压缩进 192 通道时,比 mel 上的细节更有利于重建质量。
站内 GAN 频谱声码器:HiFi-GAN 与 BigVGAN 详细拆过 VITS 解码器所沿用的 HiFi-GAN 生成器与多周期判别器,这里不再重复。
Grad-TTS:把扩散过程接到文本编码器上
Grad-TTS 由 Popov 等人于 2021 年发表在 ICML,论文标题为 Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech。它的着眼点与 Glow-TTS 和 VITS 都不同:文本对齐部分几乎照搬 Glow-TTS(同样的编码器、时长预测器与 MAS),真正的创新在声学解码器——把流解码器换成扩散解码器。
为什么要换掉流解码器
Glow-TTS 的解码器是一个固定深度、可并行、一次前向的流。它的优点是快,制约在于流的架构约束:每个变换可逆,雅可比容易算,深度不能随意加,表达力因此有限。Grad-TTS 的实验里能看到这个局限的直接证据:Grad-TTS-1000 的 MOS 是 4.44,Glow-TTS 是 4.11;Grad-TTS 的解码器有 7.6m 参数,Glow-TTS 的解码器有 21.4m,参数少了一半多,音质还更高。论文把这一现象归因于扩散建模比流建模更能表达复杂分布——这一点在图像生成领域早有类似观察。
代价也很清楚:扩散解码要迭代。步数决定了延迟,而流只需要一次前向。Grad-TTS 因此把”音质与速度的权衡”显式暴露成一个可以调的参数:推断步数。
广义扩散:噪声中心不在 0
标准 DDPM 从 N(0,I) 出发还原数据。Grad-TTS 做了一个看起来不大但推理端影响很大的推广:前向扩散的极限分布不是标准正态,而是 N(μ,Σ),其中 μ 是编码器输出经对齐展开后的帧级特征 μ1:F。换句话说,扩散的”噪声中心”是由文本决定的。
直观理解是在普通 DDPM 里,从纯噪声还原一张图,网络要先猜出这张图大致在数据空间里的哪个位置;在 Grad-TTS 里,这个位置直接由 μ 给定了,解码器只需要在 μ 附近去噪。论文的解释是:sθ 本质上在预测”加到数据上的噪声”,如果把最终噪声的长什么样(limT→∞Law(XT∣X0),它对不同文本输入是不同的)也告诉网络,预测就更准。
前向加噪过程有闭式解:
Xt=ρ(X0,I,μ,t)+λtξt其中 X0 是目标 mel 频谱,ξt∼N(0,I),λt=1−e−∫0tβsds 是累积噪声方差(βs 是噪声调度),ρ 是把数据朝 μ 方向收缩的均值函数。当 t→∞ 时 λt→1,Xt 的分布收敛到 N(μ,I)。
编码器为什么被理解成一个高斯
上述过程要求”扩散的终点”是 μ,而 μ 来自对齐后的编码器输出 μ~。为了把这个对齐后的特征当作一个分布来处理,论文把 μ~ 解释为 N(μ~,I) 的均值,编码器损失因此写成负对数似然:
Lenc=−j=1∑Flogφ(yj;μ~A(j),I)φ 是均值 μ~i、协方差 I 的高斯密度。由于高斯密度是平方距离的函数,这个损失化简后就是 MSE。这样编码器的输出既是一个对齐目标,又是扩散的噪声中心,两块在概率层面被统一起来。论文还报告了一个有意思的消融:去掉编码器损失,模型学不出对齐——说明即使扩散损失能独立生成合理的 mel,编码器损失仍然是学习文本到帧对应关系的锚点。
推理:用 ODE 而不是 SDE
Grad-TTS 的推理沿一条常微分方程进行:
dXt=21(μ−Xt−sθ(Xt,μ,t))βtdt时间从 T 往回解到 0,初值 XT∼N(μ,τ−1I),用一阶 Euler 格式求解。几个设计点值得逐条说明:
- 为什么用 ODE 而不是 SDE:论文比较了两种反向动态,步长小的时候两者效果相当,步长较大时 ODE 明显更好。ODE 是确定性路径,SDE 每一步还要注入随机噪声,大步骤时噪声误差会累积,把高保真度”冲掉”。
- 为什么 μ 作为网络输入:sθ(Xt,μ,t) 除了 t 和当前噪声副本 Xt,还拿到 μ 作为提示,这等于把文本信息在每一步都喂给网络,而不仅是在起始分布里。
- 温度 τ:起始噪声的标准差为 1/τ。步长大时,提高 τ 可以让采样初始更加集中,把”大步长带来的音质损失”补回来。这个参数与 Glow-TTS 里先验的温度在概念上相似,作用点不同。
- 步数 h:这是最关键的可调量。T 是前向过程的时间上界,是训练时定的;h 是 Euler 步长,训练后可以任意选择。步数越少越快,越多音质越好。
U-Net 的规模也被压小了:沿用 DDPM 用来生成 32×32 图像的 U-Net,但通道数减半、分辨率级数从四降到三,在 80 维 mel 频谱上工作于 80×F、40×F/2、20×F/4 三个分辨率。μ 与 Xt 在通道维拼接后一起输入。
步数与音质:为什么 10 步就够

上图出自 Grad-TTS 论文的模型总图。左侧是文本编码器与时长预测器,经过对齐后得到帧级 μ;右侧是扩散解码器(图中为 U-Net),它把 N(μ,I) 的噪声副本逐步去噪,经过 ODE 求解器得到最终的 mel 频谱。注意图中同时画了反向扩散的 SDE 与 ODE 两条支路,论文最终选择的是右侧的 ODE。
论文的 MOS 与 RTF 对比表,摘录如下:
| 系统 | RTF | 参数量(编码器/解码器) | MOS |
|---|---|---|---|
| Grad-TTS-1000 | 3.663 | 7.2m / 7.6m | 4.44 ± 0.05 |
| Grad-TTS-100 | 0.363 | 同上 | 4.38 ± 0.06 |
| Grad-TTS-10 | 0.033 | 同上 | 4.38 ± 0.06 |
| Grad-TTS-4 | 0.012 | 同上 | 3.96 ± 0.07 |
| Glow-TTS | 0.008 | 7.2m / 21.4m | 4.11 ± 0.07 |
| Tacotron 2 | 0.075 | 共 28.2m | 4.32 ± 0.07 |
| 真实录音 | — | — | 4.53 ± 0.06 |
RTF(Real-Time Factor)的物理含义是”生成 1 秒音频需要多少秒”。这张表里最值得读的对比有三组。第一,1000 步与 10 步的 MOS 几乎相同(4.44 与 4.38,相差 0.06,在置信区间内),而 RTF 相差 111 倍——说明大部分步骤都在做边际收益递减的精修,10 步即可。第二,从 10 步降到 4 步,MOS 掉到 3.96,这是一个临界点:低于 4 步音质断崖。第三,Grad-TTS-10 的 RTF 0.033 低于 Tacotron 2 的 0.075,意味着扩散解码器即使带 10 次迭代,也比自回归声学模型快一倍以上,而 MOS 还更高。
还有一个消融值得单独说:论文训练了一个同结构、但从 N(0,I) 出发的版本,与 Grad-TTS-10 做 AB 偏好测试。10、20、50 步分别有 93.8%、82.3%、60.3% 的样本被认为更差。这个数字直接量化了”噪声中心由文本决定”的价值:同样的步数下,从 μ 出发的去噪明显更容易。

上图出自 Grad-TTS 论文的推理速度对比图,横轴是文本长度(字符数),纵轴是延迟。可以看到 Tacotron 2 随长度几乎线性增长,而 Grad-TTS 不同步数的曲线都近似水平——这是并行解码的共同特征:帧数只改变批量形状,不改变串行步数。步数从 4 提高到 1000,曲线整体上移,但斜率不变。
噪声调度与步长:为什么 4 步会断崖
Grad-TTS 的前向过程设 T=1,噪声调度取线性形式
βt=β0+(β1−β0)t,β0=0.05, β1=20累积噪声方差 λt=1−e−∫0tβsds。代入这组参数,∫01βsds=(0.05+20)/2≈10.03,于是 λ1≈1−4.4×10−5,终点几乎是纯噪声。噪声在时间轴上的分布很不均匀:t 接近 0 时 βt≈0.05,过程推进极慢;t 接近 1 时 βt≈20,数据被迅速破坏。这意味着大部分”语义结构”的重建发生在前段,而大部分”噪声量”的消除发生在后段。
Euler 求解器在 N 步下的步长是 h=1/N:10 步对应 h=0.1,4 步对应 h=0.25。一阶 Euler 的局部截断误差随 h2 增长,但更有害的是大步长会跨过前段那些变化平缓却决定音质的区间——一步从 t=0.25 跳到 t=0,等于让网络在信息最密集的地方只做一次线性外推。这与表格里看到的现象吻合:10 步到 4 步,MOS 从 4.38 掉到 3.96,而 10 步到 100 步几乎没有增益。工程上的补偿手段就是温度 τ:步长变大时,把起始分布从 N(μ,I) 收紧到 N(μ,τ−1I),减少初始噪声的方差,让一次大步长的外推不至于偏离太远。
这条分析对推理部署的直接含义是:步数不是越多越好,而是在”前段采样密度”和”总前向次数”之间找一个拐点。论文给出的拐点在 10 步附近,4 步是可用性的下界,100 步以上只是验证上限——这也是为什么后续的少步蒸馏工作会把目标定在 4 步以内。
扩散解码器没能解决的:对齐仍然靠外置时长
Grad-TTS 的标题容易被读成”整体端到端”,实际上它的端到端只到 mel 频谱为止:波形仍然要交给单独训练的声码器还原,论文听测用的也是现成的 mel 声码器。论文在”End-to-end TTS”一节尝试过把解码器换成 WaveGrad 结构的波形域扩散,让它直接输出波形,但作者明确写了音质”fair enough,无法与上面的结果相比”,因此没有纳入听测。
更关键的限制在对齐侧:Grad-TTS 的编码器、时长预测器与 MAS 完全沿用 Glow-TTS,音质上的所有提升都来自解码器,而”对齐学习”这一步的能力边界没有任何改变。因此上一节列出的三条硬对齐假设——无零时长音素、音素级粒度、文本与语音同步增长——在 Grad-TTS 上原样成立。扩散解码器再强,也只能在给定的帧级 μ 上重建细节,改不了”哪个音素占哪几帧”这件事。
这个分工本身就说明了三条路线的关系:对齐是三者共享的地基,生成器是可替换的上层。Glow-TTS 在解码器上用了流,Grad-TTS 换成了扩散,两者的编码器与对齐模块几乎一字不差地通用。后来把 Grad-TTS 的扩散解码器换成流匹配、或者换成级联的波形扩散,都不需要重写对齐部分——这是这三篇论文在架构层面最值得借鉴的地方。
论文对错误类型的分析也值得一提:在同样的错误分类评测下,Glow-TTS 的”重音错误”和”机器人感”明显多于 Grad-TTS 与 Tacotron 2,这与上面 MOS 的差距一致。原因可能是流的单次映射在局部变化较多时(比如语调起伏、重音转移)不够灵活,而扩散的逐步精修更擅长这一类细节。这是论文里的推测性解释,原文并未给出严格的归因实验。
站内已有 扩散模型从零讲起(十):音频扩散 与 CosyVoice 2 的流匹配合成 分别覆盖了波形扩散与流匹配路线的语音生成,Grad-TTS 是它们的前身之一,可以对照着读。
三条路线的推理账与工程取舍
三篇论文对应三种生成建模,落到推理端,成本结构差别很大。把上面散落的数字集中成一张对照表:
| 维度 | Glow-TTS | VITS | Grad-TTS |
|---|---|---|---|
| 声学解码器 | 归一化流,一次前向 | HiFi-GAN 生成器,一次前向 | 扩散 U-Net,N 次迭代 |
| 推理输入 | 帧级先验高斯 | 帧级先验高斯(流修饰) | N(μ,I) 噪声副本 |
| 推理串行步数 | 1 | 1 | N(推荐 10) |
| 输出域 | mel 频谱 | 波形 | mel 频谱 |
| 时长建模 | 确定性 | 随机的样条流 | 确定性 |
| 对齐学习 | MAS(流似然) | MAS(ELBO 化简为流似然) | MAS(编码器 NLL,实际为 MSE) |
| 推理是否需要声码器 | 需要 | 不需要 | 需要 |
从表里能读出几条反复验证过的结论。
第一,并行解码是共同底盘,差异只在”用什么生成器”。 三篇论文都把”自回归 → 并行”这一步做完了,MAS 或时长预测器负责把文本长度展开成帧长度,生成器负责在这两者之间做映射。选择哪种生成器,决定了生成质量的上限与延迟的下界。
第二,流与扩散的权衡是”一次快前向”对”多次慢迭代的边际收益”。 Glow-TTS 的流是”一次前向换稳定音质”,Grad-TTS 是”10 次前向换更高音质”,而 VITS 走的是第三条路:不用流或扩散做输出域生成,而是让 HiFi-GAN 这类专门为波形设计的生成器做解码,用 VAE 把中间潜变量的分布建模交给流(先验编码器),把表达力的负担分散到不同模块。这也是 VITS 在同样 LJSpeech 数据、同一评测尺度下得分最高的工程原因——每一块都用最合适的建模范式:可逆的流管”分布形变”,GAN 管”波形保真”。
第三,训练与推理的成本被明显切开了。 MAS 只在训练用,且只在 CPU 上跑不到 20 ms;后验编码器和判别器只在训练用;VITS 的 STFT 与 mel 投影只在训练用。这让推理计算图里只剩下必要模块——这是端到端模型相对两段式模型在工程上最实际的优势之一:少一个模型边界,就少一次中间表征的序列化与同步。
第四,这三条路线对后续的端到端 TTS 系统有直接影响。 后来的大模型 TTS 大体分成两派:一派沿用离散 token 加语言模型的路线(音频离散 token:RVQ 编解码器与 codec 语言模型 里已经拆过),另一派用流匹配或扩散生成声学表征(如 CosyVoice 2 与 扩散音频 里覆盖的路线)。Grad-TTS 引入的”编码器输出作为扩散中心 + ODE 少步采样”正是流匹配路线的思想前身之一;VITS 对潜变量分布结构的处理、对随机时长的建模,也直接影响了后来”韵律可采样”的语音系统设计。
第五,推理侧最容易被低估的成本是声码器。 Glow-TTS 与 Grad-TTS 都输出 mel,都要再接声码器。声码器本身有几十毫秒到上百毫秒的延迟,还有自己的波形生成步数;这会让端到端总延迟里”生成器 + 声码器”的预算分配变得不那么直观。VITS 把解码器直接做到波形域,虽然模型更大,但总链路更短、总延迟更容易估,这也是它被大量后续系统采纳为端到端基线的现实原因。
工程落地时会碰到的几个具体问题
把上面三条路线真正接到服务里,还有几笔账要算清楚,它们不在论文的评测表里,但决定了线上系统的行为。
第一笔账是批量形状。 并行 TTS 的推理延迟与帧数相关,而一个 batch 里不同请求的帧数差别很大:一句”好的”可能 20 帧,一句带数字和缩写的长句可能 600 帧。如果按最长 pad,短句会被迫跑完与长句相同长度的解码器前向。Glow-TTS 与 VITS 的解码器都是卷积结构,计算只依赖局部窗口,所以工程上可以把长句切成若干窗口、与短句拼成一个形状整齐的 batch 并行处理,再按顺序拼接;边界处留一段重叠可以避免卷积感受野在切口上产生的伪影。这个技巧之所以可行,正是因为卷积解码器没有自回归的先后依赖;换成逐帧解码的模型就没法这样做。
第二笔账是声码器与生成器的解耦开销。 在 Glow-TTS 和 Grad-TTS 这类输出 mel 的系统里,前端生成器与声码器通常是两个独立服务,中间要传一份 80 通道、长度可达数百帧的浮点张量。这份张量本身不大(几十到几百 KB),但跨进程传输加上两边的调度排队,往往比计算本身还占时间。把声码器与生成器放进同一个进程、共享内存,是这类系统降低尾延迟的常见做法。
第三笔账是随机时长带来的输出不确定性。 VITS 的随机时长预测器让同一句话可以有不同的时长,这对用户体验是加分项,对缓存与评测却是麻烦:同一输入的输出不可复现,前缀缓存、结果缓存、以及基于固定输出做回归测试的流水线都要额外设计。工程上常见的做法是在推理时用固定的随机种子,或者干脆换成确定性时长预测器版本——论文里后者只损失 0.04 MOS,却快了 35%。
第四笔账是 MAS 与训练数据规模的关系。 MAS 的对齐是逐 batch 在线搜索的,对齐随训练不断变化,长音频的 DP 表也更大。当训练数据里有大量长句时,常见的工程做法是截断到固定窗口(论文在 LibriTTS 上直接过滤了文本长度超过 190 的样本),并对截断后的片段重新搜索对齐;另一种做法是先用 MAS 搜一遍、把结果固化成对齐标签,再按标签训练,这回到了外部对齐器的老路,但好处是训练可复现、可离线分批。
第五笔账是模型体积与部署形态。 VITS 的完整模型(后验编码器、判别器、先验流、解码器)在训练时是四块,推理时只保留先验流与解码器,后验编码器与判别器可以整体裁掉;而 Glow-TTS 的流解码器本身很大。在多说话人场景下三篇论文都通过说话人嵌入解决(VITS 在流的残差块里用全局条件注入说话人嵌入,解码器则把说话人嵌入线性变换后加到潜变量上),这意味着同一份权重可以服务多个音色,不需要为每个说话人单独部署一份,这是端到端模型相对”一人一模型”的老方案在部署上的直接优势。
小结
三篇论文共享一个核心问题:如何把”文本是一维顺序符号、语音是二维时序信号”这两件事在不依赖外部对齐器的前提下绑定起来。答案都指向单调对齐搜索——它把对齐搜索拉进生成目标里,用动态规划在 O(TtextTmel) 内解出最优对齐,并给出推理时可直接使用的时长标签。这份对齐机制是三条路线的共同地基。
在这块地基上,三篇论文展示了三种生成建模的选择:
- Glow-TTS 用归一化流做解码器,一次前向、精确似然、温度可调,速度恒定在 40 ms 左右,比 Tacotron 2 快 15.7 倍;
- VITS 用条件 VAE 把流、GAN 与随机时长放进同一个端到端模型,先验流消融下降 1.52 MOS 说明这个结构是必需的,端到端速度达到 ×67 实时倍率,MOS 与真实录音只差 0.03;
- Grad-TTS 把扩散解码器接到对齐后的编码器上,用 ODE 少步采样把”音质与速度”的权衡做成显式参数,10 步即可达到 4.38 MOS,与 1000 步的差距在置信区间内。
理解这三条路线,不只是为了读懂三篇论文。它们定义了端到端 TTS 里几乎所有后续系统的通用骨架:文本编码器 + 时长预测器 + 声学生成器,以及一条只在训练时存在的对齐搜索回路。之后的离散 token 语言模型、流匹配 TTS 与扩散声码器,都可以在这张骨架上找到对应的位置。
参考资料
- Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
- Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech(VITS)
- Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech
- VITS 官方实现:jaywalnut310/vits
- Grad-TTS 官方实现(Huawei Noah’s Speech-Backbones)
- Glow-TTS 官方实现:jaywalnut310/glow-tts
- HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



