正在获取所在地区…
正在读取天气
音乐
暂未播放
MusicGen 架构拆解:单阶段自回归如何把文本变成 30 秒音乐
音乐生成模型看起来像是“文生图”的近亲:同样接受一段文字描述,同样输出一段内容。但两者的底层约束完全不同。图像是一次性生成的二维网格,扩散模型可以在几十步里去噪整张图;音乐是一条以毫秒计的时间轴,32 kHz 采样率下 30 秒就是 96 万个采样点,而且和声、节奏、音色必须在整段时长里保持连贯。把这条时间轴压到语言模型可以处理的长度,同时不丢掉让耳朵满意的细节,是音乐生成架构要解决的第一问题。
Meta AI 于 2023 年发表的 MusicGen 给出了一个相当简洁的答案:先用神经音频编解码器 EnCodec 把音乐压成 50 Hz 的离散 token,再用一个单阶段自回归 Transformer 在这些 token 上建模,并用一种叫“延迟码本模式”的交错方式把多个码本流合并成一条长度只增加常数的序列。它不需要 MusicLM 那样的多级级联模型,也不需要扩散模型的多步去噪,一个 Transformer 就完成了从文本到 32 kHz 音频的生成。本文以 MusicGen 的主干架构为中心,讲清楚三个问题:音频如何变成 token、多个码本流如何排成一条序列、文本与旋律条件如何进入模型;最后再把这条推理链路放回真实的成本账本里。
从波形到 token:音乐生成为什么不能直接建模采样点
先把问题的量级摆出来。一段 30 秒、32 kHz、单声道的音乐有 960,000 个采样点。如果像 WaveNet 那样做采样点级自回归,每生成一个采样点就要前向一次,30 秒需要接近一百万步解码。这个成本在训练和推理上都不可接受,而且相邻采样点之间的依赖非常局部,用注意力去建模大部分是浪费。
第一层压缩是换表征。梅尔频谱把 30 秒压到几千帧(常见 100 Hz 帧率下约 3000 帧),但频谱丢掉了相位,还需要一个声码器把频谱还原成波形;同时频谱是连续值,不能直接套用语言模型的离散词表。第二层压缩是神经音频编解码器:把波形编码成一个低帧率的连续隐变量,再用向量量化把它变成离散码字。EnCodec 在 32 kHz 音乐上可以把帧率降到 50 Hz,30 秒只剩 1500 帧,每帧再用若干个码本表示。这样一条 30 秒音乐就变成了一个长度为 1500、宽度为码本数的离散 token 矩阵。
这里出现了两条技术路线。一条是保留连续隐变量,用扩散模型在隐空间里去噪(AudioLDM、Stable Audio 一类),优点是可以在整条时间轴上并行去噪,缺点是依赖变分自编码器的重建质量,而且连续隐变量没有“词表”概念。另一条是把隐变量量化成离散 token,用自回归语言模型逐 token 生成,MusicGen 和 MusicLM 都属于后者。离散 token 路线的好处是:可以直接复用 Transformer 语言模型的全部工程积累,训练目标就是标准的交叉熵,采样、温度、top-k、KV 缓存这些机制原样可用;代价是序列变长,生成必须按顺序推进。
MusicGen 的完整数据流可以先用一句话概括:文本经 T5 编码后通过交叉注意力进入 Transformer;Transformer 以自回归方式生成 EnCodec 的离散码字;最后把码字交给 EnCodec 解码器还原成 32 kHz 波形。接下来的每一节,都是在这条链路上解释一个具体设计。
第一步:EnCodec 把音频压成 4 路 50 Hz 的离散流
MusicGen 使用的分词器来自 EnCodec(Défossez 等人,2022 年)。EnCodec 本身是一个端到端训练的神经音频编解码器:编码器由若干层带步长的卷积组成,把波形下采样成低帧率隐变量;隐变量经过残差向量量化(Residual Vector Quantization,RVQ)变成离散码字;解码器再用转置卷积把码字还原成波形。整个模型同时用重建损失和对抗损失训练,判别器是一个多尺度 STFT 判别器。
MusicGen 并没有直接使用 EnCodec 论文里面向流式传输的 24 kHz 模型,而是训练了一个非因果的 32 kHz 变体:五层卷积编码器,总步长为 640,输出帧率 50 Hz,通道数从 64 开始逐层翻倍;量化部分使用 4 个量化器,每个码本 2048 个条目。50 Hz 意味着每 20 毫秒一个 token 帧;2048 个条目意味着每个码字携带 11 bit 信息。四路码本合起来,30 秒音乐的 token 总量是:
T×K=(30×50)×4=6000如果按 16 bit PCM 计算,原始 30 秒单声道音频是 30×32000×2=1,920,000 字节;6000 个 11 bit 码字约 8.25 KB。也就是说,语言模型真正要生成的“乐谱”只有几 KB,剩下的工作交给了解码器。这个数量级解释了为什么音乐生成可以在几十秒内完成:瓶颈不在波形,而在 6000 个 token 的序列建模。
RVQ 的残差结构
RVQ 的公式不复杂,但它是后面所有码本交错设计的前提。设编码器输出的连续隐变量为 z∈RT×D,第 j 个量化器为 qj,码本为 Cj={cj,1,…,cj,M}。残差量化按如下方式递归:
r1=z,qj(rj)=argc∈Cjmin∥rj−c∥2,rj+1=rj−qj(rj)最终重建为各层码字之和:
z^=j=1∑Kqj(rj)第一层量化器面对完整的隐变量,因此它学到的是能量最大、最粗粒度的结构;后续每一层只负责前一层留下的残差,也就是越来越细的纹理。MusicGen 论文明确指出,在所有码本中第一个码本最重要。这一点直接决定了生成顺序:先有粗结构,再补细节,比反过来合理得多。
残差结构还带来一个工程上的好处:码本大小不需要随码率指数增长。若用单个码本表示同样的信息量,词表会膨胀到 20484 量级;RVQ 用四个 2048 词的码本组合出同样的表达空间,每个量化器只需要在自己的残差上做最近邻搜索。代价是同一帧有多个 token,序列从一维变成了二维矩阵,这正是“码本交错”要解决的问题。
编码器的重建目标
EnCodec 的训练目标由几部分组成。重建损失包含时域损失和多尺度 STFT 频谱损失,前者约束波形本身,后者约束不同时间分辨率下的频谱结构;对抗损失由一个多尺度 STFT 判别器提供,用来消除神经网络解码常见的平滑感和金属音;此外还有量化器的承诺损失(commitment loss),把编码器输出拉向所选码字。EnCodec 论文还提出了一种梯度平衡器,让每个损失项的权重直接对应它在总梯度中的占比,而不是依赖损失本身的数值尺度。
下图是 EnCodec 的整体结构:左侧编码器把波形压成隐变量,中间量化器完成 RVQ,右侧解码器重建波形;判别器在重建音频和真实音频之间做多尺度频谱判别。图中标注的 ℓt、ℓf 分别是时域与频域重建损失,ℓg、ℓd 是生成器与判别器的对抗损失,ℓw 是量化承诺损失。

这张图里值得注意的一点是:量化发生在编码器和解码器之间,而不是在损失函数内部。训练时梯度可以穿过量化器(使用直通估计),但生成时语言模型只接触离散码字,完全不需要编码器。因此 MusicGen 的推理链路里只有“语言模型 + 解码器”两段,编码器只用于训练数据预处理和旋律条件的提取。
关于 RVQ、音频 codec 与 codec 语言模型的更多细节,可参考站内 音频生成的离散 token 路线:RVQ 编解码器与 codec 语言模型的架构拆解。
核心问题:把 4 条码本流排成一条自回归序列
经过 EnCodec,每 20 毫秒得到一个四元组 (qt,1,qt,2,qt,3,qt,4)。第一维是时间步 t∈{1,…,T},第二维是码本编号 k∈{1,…,K}。语言模型需要的是“一条”离散序列,于是问题变成:怎样把这 T×K 个 token 排成一个顺序,既能保留依赖关系,又不至于让序列长度失控。
依赖关系有两类。第一类是同一码本内部的时间依赖:qt,k 依赖 qt−1,k,因为音乐有节奏和旋律的延续。第二类是同一时间帧内不同码本之间的依赖:qt,k 依赖 qt,k−1,因为第 k 个码本是在前 k−1 个码本的重建结果之上继续补残差,粗码本没确定时,细码本的条件是不完整的。一个理想的建模顺序必须同时满足这两类依赖,而且不能引入循环。
MusicGen 用一个统一的“码本交错模式”框架来描述所有排法。论文把全部 T×K 个位置记作集合
Ω={(t,k)∣t∈{1,…,T}, k∈{1,…,K}}一个模式 P=(P0,P1,…,PS) 是 Ω 的一个划分:P0=∅,每个 Ps 是一组同一步并行预测的位置,并且同一码本在同一组里最多出现一次。生成时,第 s 步的模型以 P0∪⋯∪Ps−1 的全部 token 为条件,并行输出 Ps 中每个位置的分布。序列长度就是组数 S。不同的划分方式,对应不同的并行度和条件完整度。
三种直觉排法
最直接的排法是逐帧展平(flattening):把每一帧的四个码本按顺序写进序列,q1,1,q1,2,q1,3,q1,4,q2,1,…。这等价于把矩阵按行拼成一条长度为 T×K=6000 的序列,依赖关系完整,理论上可以精确建模整个联合分布。代价是自回归步数变成 6000,是帧率的四倍;论文的消融实验里它的生成质量确实最好,但计算成本也最高。
第二种是完全并行(parallel):第 s 步同时预测 (s,1),(s,2),(s,3),(s,4),序列长度仅为 T=1500。问题是同一帧的四个码本之间没有任何条件关系:模型必须在不知道粗码本的情况下猜细码本,相当于把 RVQ 的残差层级拍平。论文实验里它的 FAD 明显变差,主观质量也最低,说明帧内依赖不能随便丢。
第三种是粗码本优先(coarse first):先按时间生成所有 qt,1,再在完整的第一码本条件下并行生成后三个码本,总步数是 2T=3000。它恢复了“粗到细”的层级,但仍需两遍扫描,而且后三个码本之间依然没有帧内顺序。
这三种排法代表了一个连续的设计空间:条件越完整,步数越多;并行度越高,帧内条件越弱。MusicGen 想找的是这个空间里的拐点。
延迟模式:用常数级步数换完整的帧内条件
延迟模式(delay pattern)的构造只有一行公式。第 j 个码本相对第一码本延迟 j−1 步,第 s 步预测的位置是:
Ps={(s−j+1, j)∣j∈{1,…,K}, 1≤s−j+1≤T}也就是说,码本 j 在第 s 步输出时间帧 t=s−j+1;当 t 超出 [1,T] 时,该位置填入一个特殊的空 token(论文记作 ∅)。整个序列的步数从 T 增加到
S=T+K−1对 K=4、T=6 的小例子,交错后的矩阵如下。每一列是一个自回归步,列内的非空 token 在同一步并行预测:
| 步 s | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|
| 码本 1 | t1 | t2 | t3 | t4 | t5 | t6 | ∅ | ∅ | ∅ |
| 码本 2 | ∅ | t1 | t2 | t3 | t4 | t5 | t6 | ∅ | ∅ |
| 码本 3 | ∅ | ∅ | t1 | t2 | t3 | t4 | t5 | t6 | ∅ |
| 码本 4 | ∅ | ∅ | ∅ | t1 | t2 | t3 | t4 | t5 | t6 |
真实设置下 T=1500、K=4,总步数约 1500,而逐帧展平是 6000。为什么只多了 3 步就能保住帧内依赖?关键在“谁比谁早一步”。
考虑 token (t,k)。它在延迟模式里的步号是 s=t+k−1。它需要的两个条件分别是:
- 同一帧的粗码本 (t,k−1),步号 t+(k−1)−1=s−1;
- 同一码本的上一帧 (t−1,k),步号 (t−1)+k−1=s−1。
两个条件恰好都在前一步已经生成。也就是说,延迟模式把二维依赖图排成了一个拓扑序,而且每个节点的两个直接前驱都落在紧邻的上一步,模型在预测 (t,k) 时,自注意力的上下文里一定包含 qt,k−1 和 qt−1,k。粗码本先行的层级关系保住了,码本内部的时间连续性也保住了,代价只是序列两端各多出 K−1 个空位。
把这个依赖图看清楚,还能得到一个推论:延迟模式并不是唯一的拓扑序,但它是最“紧凑”的一种。任何满足两类依赖的顺序都至少要 T+K−1 步,因为第一帧的四个码本必须串行生成,之后每帧最多并行四个。延迟模式正好达到了这个下界。逐帧展平是另一种合法但不紧凑的拓扑序,它把每个 token 都单独排一步,条件更细(例如 (t,2) 还能看到 (t,1) 之外的更多前缀),所以质量略好,但步数是四倍。
下图是论文给出的四种模式示意:左上为展平,右上为并行,左下为粗码本优先,右下为延迟。每个小格代表一个码本在某个时间步的 token,横轴是交错的序列步,纵轴是码本层级。延迟模式的对角线形状,就是上面公式的可视化。

交错模式的实测取舍
论文在 30 秒音频、1K 个样本上比较了五种模式,结果很能说明设计取舍。评价指标包括 FAD(Fréchet Audio Distance,越低越好)、KL(与参考标签分布的散度,越低越好)、CLAP 分数(文本与音频的匹配度,越高越好),以及主观的 OVL(整体质量)和 REL(文本相关性)。
| 模式 | 步数 | FAD | KL | CLAP | OVL | REL |
|---|---|---|---|---|---|---|
| 延迟 delay | 1500 | 0.96 | 0.52 | 0.35 | 79.69 | 79.67 |
| 部分延迟 partial delay | 1500 | 1.51 | 0.54 | 0.32 | 79.13 | 79.67 |
| 完全并行 parallel | 1500 | 2.58 | 0.62 | 0.27 | 72.21 | 80.30 |
| 部分展平 partial flattening | 3000 | 1.32 | 0.54 | 0.34 | 78.56 | 79.18 |
| 粗码本优先 coarse first | 3000 | 1.98 | 0.56 | 0.30 | 74.42 | 76.55 |
| 逐帧展平 flattening | 6000 | 0.86 | 0.51 | 0.37 | 79.71 | 82.03 |
这张表里有两个容易被误读的地方。第一,逐帧展平的 FAD 最好、主观 REL 最高,但它的步数是延迟模式的四倍;延迟模式用四分之一的步数拿到了几乎相同的 OVL,FAD 只差 0.1,说明多出来的 4500 步买到的边际收益很小。第二,完全并行的步数和延迟一样,但 FAD 从 0.96 掉到 2.58,OVL 掉了 7 个点以上,证明帧内条件不是可有可无的装饰。部分延迟介于两者之间:它只让后三个码本共享同一个延迟量,步数不变,但帧内条件弱于完整延迟,指标也随之下降。
延迟模式因此成为 MusicGen 所有正式模型的默认选择。论文还把它推广到了立体声:左右声道各用一套四码本 EnCodec,共 8 个码本。若直接套用 8 路延迟,步数会增加到 T+7;MusicGen 用“立体声部分延迟”让左右声道的同层码本共享延迟,于是步数仍接近 1500,只是输出头从 4 个变成 8 个。下图左侧对比了两种立体声排法,蓝色是左声道、红色是右声道;右侧是不同模型规模在 5 秒生成上的记忆化实验结果。共享延迟的排法在主观评测里略优于让左右声道互相等待的排法,因为它避免了不必要的跨声道串行。

立体声这一步还说明了一个工程原则:并行度不是越多越好,而是要和“必须串行的依赖”对齐。左右声道之间并没有 RVQ 那样的残差层级,同一个码本层的左右声道可以同时预测,所以让它们共享延迟不会损失关键条件;相反,跨声道的额外延迟只会增加步数,换不来质量。延迟模式的价值不在于“延迟”这个动作本身,而在于它精确地表达了哪些 token 必须等、哪些可以并行。
主干结构:四个码本如何塞进一个 Transformer
延迟模式解决了“按什么顺序生成”,接下来的问题是“每一步输入什么、输出什么”。MusicGen 的主干是一个标准的仅解码器 Transformer:L 层,隐藏维度 D,每层依次是因果自注意力、交叉注意力(用于文本条件)、前馈网络,所有子层都是 pre-norm 加残差。前馈网络的隐藏维度是 4D,激活函数是 ReLU。
论文给出了三个规模的配置:
| 参数量 | 隐藏维度 D | 注意力头数 | 层数 L |
|---|---|---|---|
| 300M | 1024 | 16 | 24 |
| 1.5B | 1536 | 24 | 48 |
| 3.3B | 2048 | 32 | 48 |
输入:对四个码本的嵌入求和
延迟模式的每一步都有最多 K 个活跃 token。最自然的做法是把它们拼接起来,形成一个长度为 K、维度为 D 的输入块;但这样会让自注意力的序列长度变成 S×K,等于把延迟模式省下来的步数又还了回去。MusicGen 选择的是另一条路:每个码本有自己独立的嵌入表 Ek∈RM×D,每个活跃 token 先查表得到 D 维向量,然后把同一 step 的所有向量按元素相加,再加上当前 step 的正弦位置编码,作为 Transformer 在该步的唯一输入:
xs=PosEmb(s)+k∈As∑Ek(qs−k+1,k)+k∈/As∑Ek(∅)其中 As 是第 s 步活跃的码本集合,∅ 是表示“该码本在这一步缺席”的特殊 token。缺席不是零向量,而是一个可学习的嵌入,这样模型能区分“这个码本没有 token”和“这个码本的 token 嵌入恰好接近零”。
求和带来的直接好处是:无论有多少个码本,自注意力的序列长度始终是 S,与单流语言模型完全一致;注意力矩阵的大小、KV 缓存的长度都不随码本数增长。代价是不同码本的信息在输入端被叠加到同一个向量里,码本之间的区分只能依赖码本专属的嵌入表和输出头。需要说明的是,论文的消融比较的是不同交错模式,并不是“求和输入”与“拼接输入”的对照;求和这个设计是 MusicGen 的工程选择,论文没有单独给出它与拼接式的实验对比。延迟模式在步数与主观质量之间取得的平衡,是这一整套设计(交错模式、求和输入、多输出头)共同的结果。
输出侧则是分开的。Transformer 在每一步输出一个 D 维隐状态,然后经过 K 个独立的线性头,每个头输出自己码本的词表 logits:
1# Hugging Face Transformers 的 MusicGen 实现(节选)2inputs_embeds = sum(3 self.embed_tokens[codebook](input[:, codebook])4 for codebook in range(num_codebooks)5)6lm_logits = torch.stack([head(hidden_states) for head in self.lm_heads], dim=1)第一行对应上面的求和,第二行对应每个码本一个解码头。这个结构意味着参数量的分布是“共享主干 + 轻量头部”:主干占了绝大多数参数,头部的数量随码本数线性增加,但每个头只有 D×M 个权重。
训练目标:四个码本的交叉熵取平均
训练时使用 teacher forcing。把真实的 token 矩阵按延迟模式重新排列,得到每一步的输入;模型对每一步的每个活跃码本输出一个分布;损失是各码本交叉熵的平均:
L=K1k=1∑K∣Vk∣1(t,k)∈Vk∑−logpθ(qt,k∣q<s)其中 Vk 是码本 k 的有效位置集合,空 token 位置不参与损失。Hugging Face 的实现里,这一步对应把填充位置标成 -100 后用交叉熵忽略,再把各码本的损失相加除以码本数。取平均而不是求和,是为了让损失的量级不随码本数变化,方便不同分词器之间比较。
这里有一个容易忽略的细节:延迟模式插入的空 token 是输入的一部分,但不是预测目标。第 1 步模型看到的是四个空 token 的嵌入之和,被要求预测第 2 步活跃位置的码字;此后每一步的损失只统计活跃码本,空 token 位置被屏蔽。序列左端的空位是“预热”,让四个码本的时间轴逐级错开对齐;序列右端则要给最后一个码本留出收尾步。与原始 T 步的单流序列相比,总步数多出的正好是 K−1,这就是 S=T+K−1 的算术来源,而且它已经是满足两类依赖的排法所能达到的步数下界。
位置编码编码的是“模式步”,不是“音频帧”
标准语言模型的位置编码对应 token 在序列中的位置。MusicGen 的位置编码对应的是模式步 s,而不是音频时间帧 t。这不是细节上的随意选择:在延迟模式里,同一个音频帧的四个码本分布在不同步上,同一个步又混合了不同帧的不同码本。用 s 做位置,模型才能知道“当前处于生成的哪个阶段”,也才能区分“第 10 步的码本 1”和“第 13 步的码本 4”这类在帧坐标上相同、在生成顺序上不同的位置。
反过来,如果错误地用音频帧号做位置编码,同一帧的四个码本会共享位置,模型就失去了判断“当前该补粗结构还是细纹理”的线索。这个设计在论文里只用一句话带过,但它是延迟模式能工作的必要条件之一。
条件通路:文本走交叉注意力,旋律走前缀
音乐生成的可控性有两个正交维度:文本描述决定风格、乐器、情绪和场景,旋律条件决定和声与音高走向。MusicGen 用两条不同的通路把它们接进主干,这个不对称的设计值得单独讲清楚。
文本条件:T5 编码器加交叉注意力
文本先经过一个预训练的 T5 编码器,得到长度为 Tc、维度为 D 的条件张量 C∈RTc×D。这个张量不拼进自回归序列,而是作为交叉注意力的 key 和 value:每一层解码器在因果自注意力之后,用当前隐状态去查询文本表示。这样文本 token 不占用自回归步数,序列长度仍然只由音频决定。
论文比较了三种文本表示思路:直接用预训练 T5、用指令微调的大语言模型、用 CLAP 这类图文音联合嵌入。最终正式模型选择了 T5,理由是它在质量和成本之间比较平衡;FLAN-T5 和 CLAP 的对比放在附录里。这里的关键设计不是选了哪个编码器,而是“文本作为外部记忆、通过交叉注意力按需读取”这个结构:文本长度可以远大于音频帧数而不增加生成步数,代价是每一层都要缓存文本的 key/value,并在每一步做一次交叉注意力。
训练时文本侧还做了三种增强。第一是条件合并(condition merging):当数据集带有曲风、BPM、乐器标签时,以 0.25 的概率把这些标签拼接到描述里,让模型学会利用结构化元数据。第二是描述丢弃:以 0.5 的概率把整段描述置空,训练无条件生成能力。第三是词丢弃:在剩下的描述里以 0.3 的概率随机丢词,避免模型过度依赖某几个固定句式。这些增强解释了一个现象:MusicGen 对简短、甚至空白的提示仍然能生成完整音乐,因为它在训练中见过大量“没有条件”的样本。
无分类器引导:用两次前向换文本相关性
文本条件的强度由无分类器引导(Classifier-Free Guidance,CFG)控制。训练时以 0.2 的概率随机丢弃条件,让同一个模型同时学会条件分布和无条件分布;推理时把两个分布的 logits 做线性外推:
ℓguided=ℓuncond+w(ℓcond−ℓuncond)MusicGen 使用的引导系数是 w=3.0。w=1 时退化为普通条件采样,w>1 时放大“有文本相对无文本的差异”,让生成更贴合描述,但过高的 w 会牺牲多样性和自然度。这个公式的结构和扩散模型里的 CFG 完全一致,区别只在于这里的“噪声预测”换成了“下一个 token 的 logits”。
工程上必须记住:CFG 让每一步的计算量至少翻倍。条件分支和无条件分支可以拼成一个 batch 一起前向,但 KV 缓存、注意力和 FFN 的算力都要按两份算。对于 1500 步的自回归生成,这是一个不能忽略的成本项。Hugging Face 的实现里,当 guidance_scale > 1 时会把解码器输入在 batch 维复制一份,生成后再把两个分支的 logits 合并;这也是为什么开启 CFG 后显存占用会明显上升。
采样策略是 top-k 250、温度 1.0。音乐生成不用 beam search,因为音乐需要多样性,贪心解码容易陷入重复的动机;top-k 保留了 250 个候选,既过滤掉长尾的怪音,又保留了足够的随机性。论文的记忆化实验则特意改用贪心解码,目的正是检测模型是否会逐 token 复现训练片段。
旋律条件:把 chromagram 当作前缀
旋律条件的输入是一段音频,可以是另一段音乐,也可以是口哨或哼唱。MusicGen 不直接使用原始波形,而是先计算 chromagram(色度图):把频谱能量折叠到 12 个音高类别上,得到每帧一个 12 维向量,表示各个半音级的相对强度。计算使用 214 个采样点的窗口和 212 个采样点的 hop;在 32 kHz 下,窗口约 512 毫秒,hop 约 128 毫秒,也就是约 7.8 Hz 的帧率。随后对每帧取 argmax,把 12 维向量压成一个 12 类的离散符号。
这里有两个刻意为之的信息损失。第一是音高类别折叠:不同八度的同一个音被映射到同一维,所以哼唱的音高不需要和原曲一致,模型只关心相对的音高结构。第二是 argmax 瓶颈:每帧只保留最强的音高类别,丢掉和弦的叠置与力度。论文明确说,如果直接输入原始 chromagram,模型往往会重建出原始音频,产生过拟合;加一个“每帧只留主音高”的瓶颈,才能让模型学到“跟随旋律轮廓”而不是“复制录音”。
与文本条件不同,旋律条件不是走交叉注意力,而是作为前缀拼接到 Transformer 的自回归输入之前。前缀里的每个符号有自己的嵌入,占据若干位置;自回归生成从这些位置之后开始。这样做的结果是旋律前缀会拉长自注意力序列,增加 KV 缓存的长度,但换来了更强的逐帧对齐能力:模型在生成每个音频帧时,都能直接看到对应时间位置的旋律符号,而不需要靠交叉注意力去“检索”。
论文还报告了一个有意思的鲁棒性现象:推理时如果把 chromagram 丢掉,整体质量和文本相关性只有轻微变化。这说明旋律条件主要起“引导和声骨架”的作用,文本条件仍然承担风格与内容的主要责任;当旋律信号缺失时,模型会退化成一个纯文本模型,而不是崩溃。对于实际系统,这提供了一个降级策略:旋律提取失败时可以直接跳过,不必拒绝请求。
对照 MusicLM:为什么单阶段模型能拆掉级联
MusicGen 的论文开头就把自己定位为 MusicLM 的“简化版”:同样基于离散音频 token,同样用自回归 Transformer,但把多级级联压缩成一个模型。要看懂 MusicGen 的设计取舍,需要先理解 MusicLM 的三级结构。
MusicLM(Agostinelli 等人,2023 年)由 Google 提出,使用三种外部表示:SoundStream 作为声学 tokenizer(24 kHz、步长 480、50 Hz,RVQ 12 个量化器、每个 1024 词)、w2v-BERT 提供语义 token、MuLan 提供文本与音乐的联合嵌入。它的生成分三级:
- 语义建模:以 MuLan 的音频 token(以及离散化后的 MuLan 文本嵌入)为条件,生成 w2v-BERT 的语义 token。语义 token 来自自监督预训练模型,保留了长期结构但丢掉了音质细节,因此这一级负责“曲子往哪走”。
- 声学建模(粗):以语义 token 为条件,生成 SoundStream 的前几级码本。
- 声学建模(细):以语义 token 和已生成的粗码本为条件,生成剩余码本。
每一级都是独立的 24 层 Transformer(16 头、1024 维、FFN 4096)。训练时用 MuLan 音频嵌入作为条件,这样只需要“音频-音频”配对;推理时换成 MuLan 文本嵌入,于是无标注音频也能用于训练。这个设计的核心思想是:语义 token 负责长期一致性,声学 token 负责高保真细节,分工明确。
它带来的成本结构也很清楚:每一段音乐要经过三个模型的串行前向,每个模型都有自己的 KV 缓存和条件编码。对 30 秒音乐,声学级要做几千步自回归,而每步都要带着语义条件和粗码本条件;如果每一级都有自己的一份额外缓存,显存占用和调度复杂度都会成倍增加。
MusicGen 的回答是:把“语义”这一级砍掉,直接在第一码本上做语义建模,用延迟模式在后三个码本上补细节。它的论据是 RVQ 的第一码本已经承载了最粗的结构,在生成顺序上实际承担了“粗语义层”的角色;后三级码本通过帧内延迟接收第一码本的条件,于是“粗声学 → 细声学”的级联被压缩进了同一条序列。这样只需要一个 Transformer、一份 KV 缓存,条件只有文本一条外部通路。
两种路线在推理链路上的差异可以列成一张表:
| 维度 | MusicLM | MusicGen |
|---|---|---|
| 外部模型 | SoundStream、w2v-BERT、MuLan | EnCodec、T5 |
| 生成阶段 | 三级级联(语义 → 粗声学 → 细声学) | 单阶段自回归 |
| 采样率 | 24 kHz | 32 kHz |
| 序列长度控制 | 每级独立展平 | 延迟模式,长度 T+K−1 |
| 条件通路 | MuLan 嵌入串接 | T5 交叉注意力 / chroma 前缀 |
| KV 缓存 | 每级一份 | 一份 |
代价是 MusicGen 失去了 w2v-BERT 那层显式的长期语义。论文的训练使用 30 秒音频片段,主要结果也集中在 30 秒长度上;对于分钟级的长音乐,MusicLM 的语义层在设计上更直接地服务于全局结构,而 MusicGen 的开源实现若要生成更长的片段,通常需要额外的续写机制——例如把已生成的码本作为解码器前缀,继续自回归;这条路径在 MusicGen 论文中没有单独展开,使用时应以具体实现的文档为准。对工程实现来说,单阶段意味着更少的模型加载、更简单的批处理、更可控的显存预算,这是它的主要优势,也是它能在开源社区迅速普及的原因之一。
一次推理请求的完整链路与成本账本
把一个 30 秒的文本到音乐请求拆开,可以看到成本集中在哪一段。
第一段是文本编码。T5 编码器对一句描述做一次前向,输出几十个 token 的条件张量,计算量与主干相比可以忽略,但它决定了后续每一层交叉注意力的 key/value 长度。文本越啰嗦,交叉注意力越贵,这也是实践中应该把描述写短、写具体的原因之一。
第二段是自回归主干。约 1500 步,每一步一个 Transformer 前向。如果开启 CFG,每一步要算两份。KV 缓存的长度随步数线性增长:第 s 步的缓存里包含 s 个位置的 key/value。按 L 层、D 维、多头结构估算,缓存规模约
2×L×S×D×bytes per element以 1.5B 模型(L=48、D=1536)、约 1500 步、FP16 为例,单条序列的 KV 缓存约 2×48×1500×1536×2≈442 MB;开启 CFG 后再翻倍。相比文本模型的几万 token,这里的序列长度并不惊人,但它的特点是“一次性长、且每步都要完整读取”,对显存带宽的要求比对算力的要求更突出。这也是为什么 MusicGen 论文在训练时使用了 xFormers 提供的显存高效 FlashAttention,来改善长序列下的速度与显存占用。
自回归与扩散:串行深度才是差距所在
把这条链路和扩散音频模型放在一起看,会得到一个反直觉的结论:自回归的总浮点运算量未必更高,它真正贵的是串行深度。
扩散模型在整条时间轴上并行去噪:假设 30 秒对应 T=1500 个潜变量帧,去噪 25 步,那么每一层 Transformer 每步都要处理全部 1500 个位置,总前向次数是 25。自回归模型需要约 1500 次前向,每次只处理一个位置,但注意力要读取不断增长的 KV 缓存。若只粗算前馈网络的乘加量,扩散约为 25×1500×D2,自回归约为 1500×D2,后者反而小一个数量级;扩散的并行度换来了更高的总计算量。反过来,扩散的 25 次前向之间虽然有依赖,但每次都是大矩阵运算,GPU 利用率高;自回归的 1500 次前向每一步都必须等待上一步采样结果,单步延迟和 kernel 启动开销会主导墙钟时间。
这解释了两条路线在服务场景里的不同定位。扩散适合“批量离线生成”,因为总吞吐高、批处理容易;自回归适合“质量优先、可以接受秒级延迟”的场景,因为离散似然精确、文本条件通过交叉注意力稳定注入,而且模型结构可以完全复用语言模型的推理栈。MusicGen 属于后者,它的 1500 步串行是架构选择,不是实现缺陷;要降低延迟,方向是减少步数(更好的分词器、更低的帧率、少步蒸馏)或提高单步并行度,而不是简单换一个更快的 kernel。
第三段是 EnCodec 解码。主干输出的是 6000 个码字,需要先把它们按延迟模式还原成 T×K 的矩阵(去掉空 token、按步对齐),再交给解码器还原成 32 kHz 波形。解码器是卷积结构,计算量是确定的,且与文本描述无关;它通常可以批处理,也可以放在 CPU 或单独的推理进程里,与主干解耦。
这里还有一个容易被低估的延迟来源:MusicGen 使用的 EnCodec 是非因果卷积结构,卷积核在时间轴上有对称填充,因此不能像流式声码器那样收到 20 毫秒就输出 20 毫秒。EnCodec 论文的非流式设置会把输入切成 1 秒的块、块间留 10 毫秒重叠,并在块内用包含时间维统计的层归一化来保持尺度一致;解码时也要按类似的块粒度处理,初始延迟通常在秒级。对于“边生成边播放”的产品形态,这是一个硬约束:主干生成完一段、解码器才能出第一段可播放音频,端到端首包延迟是两段之和。真正要做流式音乐,需要换用因果卷积或流式结构的 codec,并重新训练与之匹配的语言模型。
第四段是把波形打包成音频文件。这里有一个工程细节:延迟模式在两端插入的空 token 必须在解码前剔除,否则解码器会多还原出 K−1 帧长度的静音或杂音。Hugging Face 的实现用 apply_delay_pattern_mask 在生成结束后统一清理,它把预测结果按码本偏移对齐,再把填充位置替换成合法的填充 id。这个步骤看似琐碎,但它是延迟模式和后续解码之间唯一的“接口”,写错就会听到开头或结尾的一小段异常。
关于单阶段与多阶段音乐生成的整体对比,以及 MusicGen 后续出现的扩展(例如基于语言模型续写更长音乐、加入结构条件等),都可以沿着“token 序列如何与文本条件对齐”这条主线继续展开。站内的 扩散模型从零讲起(十):音频扩散——波形、mel 与潜空间,语音生成的推理账 讲了另一条音频生成路线,和这里的离散 token 路线可以对照阅读。
从 AudioGen 到 Stable Audio Open:两条路线的分岔
MusicGen 并不是凭空出现的。它的直接前身是 Meta 同团队的 AudioGen(Kreuk 等人,2022 年),那篇工作做的是“文本到环境音效/音频事件”:同样用 EnCodec 把音频变成离散 token,同样用自回归 Transformer 在 token 上生成,同样使用 T5 编码文本。MusicGen 沿用了这套“文本 → 离散音频 token → 自回归”的配方,把目标从几秒的音效扩展到 30 秒的完整音乐,并针对音乐的两个特殊需求做了改造:32 kHz 的分词器,以及旋律条件与立体声支持。延迟模式之所以在 MusicGen 里显得如此成熟,是因为它首先在音频生成任务上被验证,随后被搬到了音乐上。
与这条自回归路线平行的,是连续潜空间的扩散路线。Stable Audio Open(Evans 等人,2024 年)用 T5 编码文本条件,在变分自编码器得到的连续潜空间上做扩散去噪,整段音频并行生成,不需要把多个码本排成交错序列。它的优势是并行度高、没有 1500 步的串行依赖;劣势是生成质量受限于自编码器的重建能力,而且连续潜变量不像离散 token 那样能直接套用语言模型的词表、采样和似然工具。
两条路线的分岔点可以归结为一个问题:音频的中间表示要不要离散化。离散化把音乐变成“语言”,换来整套语言模型工程和精确的离散似然,代价是多码本交错和较长的串行步数;连续化保留了平滑的潜空间,换来整段并行和更容易的扩散训练,代价是依赖自编码器、并且难以做 token 级的条件控制。MusicGen 站在离散一侧,它的架构选择、成本结构和能力边界,都可以从这一个决定推导出来。
延迟模式与多码本量化的通用形状
延迟模式看起来是 MusicGen 的一个实现细节,但它描述的是一个在多个领域反复出现的问题:当一个连续信号被多级残差量化成若干并行的码本流时,怎样把它们折叠进单流自回归序列而不打乱层级。同样的问题在离散语音 token、多码本神经音频压缩以及多尺度视觉 token 中都出现过,解法也基本是同一种形状:让细层的码本相对于粗层错开若干步,把“必须串行的层级依赖”精确地编码成延迟。
判断一个排法是否合格,可以用两个问题来检验。第一,某个 token 的所有直接前驱是否都落在它之前的步里?如果有一项落在同一或之后,就会形成循环或条件缺失。第二,序列长度是否只比最细粒度的时长多出一个与码本数同阶的常数?如果步数随码本数乘性增长,说明排法把本该并行的位置强行串行了。
延迟模式对这两个问题都给出肯定的答案:每个 token 的两个前驱都在紧邻上一步,总步数为 T+K−1。这也解释了为什么它在实验里能以四分之一的步数接近逐帧展平的质量——它没有丢掉任何一个关键依赖,只是把不需要依赖的位置并行掉了。
这套架构的能力边界
延迟模式和单阶段主干解决的是“如何高效生成”,不是“如何生成一切”。MusicGen 的边界主要来自四个方面。
第一是人声与歌词。论文使用的约 20K 小时数据由内部曲库、ShutterStock 和 Pond5 的器乐音乐组成,后两者明确是 instrument-only。模型没有学过唱歌,也没有歌词对齐机制,因此文本提示能控制风格、乐器、情绪和场景,却不能要求它唱出具体歌词。想让模型生成带人声的歌曲,需要在数据、分词器和条件通路上另做设计。
第二是时长。训练和主评测都是 30 秒片段;模型没有显式的段落结构或曲式条件,超过训练长度的生成需要外部续写策略,质量不随长度自动保持。对于“整首三分钟歌曲”的需求,MusicGen 不是开箱即用的方案。
第三是分词器的质量上限。4 个码本、50 Hz、每个码本 2048 词,折算码率约 2.2 kbps。这个码率足以保留旋律、和声与主要音色,但对高频瞬态、混响尾音和密集打击乐仍然有损。解码器只能还原码字里已有的信息,语言模型再强也无法弥补分词阶段丢掉的内容。论文也对比了不同分词器:帧率更低的 EnCodec 变体能把同样音频的推理时间降低约 40%,但更低的帧率意味着更粗的时间分辨率,音质与成本需要一起权衡。
第四是记忆化与版权。论文专门做了记忆化检测:从训练集取样本,把原始音频的码本作为提示,用贪心解码续写 5 秒,再统计生成序列与原始序列的精确匹配和 80% 以上部分匹配比例。论文的结论是只有极小比例的样本被精确记忆,但一部分样本能被找到近似匹配,因此它把这一风险列为需要后续工作专门处理的问题。把这类模型用于商业内容生成的系统,需要在输出侧做相似度检测和版权策略,而不能只依赖模型本身“不会抄”。
此外,论文在 MusicCaps 上观察到明显的域外问题:自动指标(FAD、KL)对训练分布之外的音乐风格并不可靠,因此模型规模的消融改用了内部测试集。这提醒使用者:FAD 低不等于听感好,CLAP 高也不等于音乐结构正确;对音乐生成的质量判断,最终仍然要回到人工试听和场景化评测。
设计启示
把 MusicGen 的架构压缩成几条可迁移的原则。
离散化是复用语言模型工程的前提。 音乐本质上是连续信号,但一旦用 RVQ 把它变成离散 token,序列建模、交叉熵训练、KV 缓存、top-k 采样、CFG 这些机制就全部可以直接拿来用。MusicGen 没有发明新的生成范式,它发明的是一个把“多个码本流”折叠进“单流 Transformer”的排列方式。
并行度应当对齐真实的依赖结构。 延迟模式不是“尽量并行”,而是“把必须串行的两对依赖(帧内粗细、帧间同码本)各保留一步”。逐帧展平和完全并行分别站在设计空间的两端,前者条件最全但最慢,后者最快但丢掉帧内层级;延迟模式用常数级的额外步数同时满足两类依赖,是这类多码本量化问题的通用解法。
条件通路的选择取决于条件与输出的对齐粒度。 文本是全局、抽象的,适合用交叉注意力按需读取;旋律是逐帧、局部的,适合作为前缀让模型逐帧看见。把这两者混成一种通路,要么文本太短无法表达复杂描述,要么旋律太长挤爆序列。
级联与单阶段的取舍本质上是缓存与复杂度的取舍。 MusicLM 用三份缓存换来了显式的语义层,MusicGen 用一份缓存换来了简单和可部署性。对于开源和自建服务,后者的工程成本往往更重要;对于追求长时结构一致性的场景,前者的分层设计仍有价值。
参考资料
- Simple and Controllable Music Generation(MusicGen,arXiv:2306.05284)
- High Fidelity Neural Audio Compression(EnCodec,arXiv:2210.13438)
- MusicLM: Generating Music From Text(arXiv:2301.11325)
- Audiocraft 项目主页与 MusicGen 示例
- Hugging Face Transformers 的 MusicGen 实现
- Hugging Face Transformers MusicGen 文档
- AudioGen: Textually Guided Audio Generation(arXiv:2209.15352)
- Stable Audio Open(arXiv:2407.14358)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



