Medusa-2 完全拆解:联合训练如何让多头候选从 2.18 倍走到 2.83 倍

8865 字
44 分钟
Medusa-2 完全拆解:联合训练如何让多头候选从 2.18 倍走到 2.83 倍

先定位这篇在 Medusa 体系里的位置

站内已经有一篇从整体机制角度拆解 Medusa 的文章,覆盖了多头候选、稀疏树的构造、Tree Attention 的祖先掩码、接受规则和一次完整解码迭代,也提及论文中 Medusa-1 与 Medusa-2 是两档不同适配程度,但没有展开 Medusa-2 究竟怎么训、为什么它会比 Medusa-1 快、联合训练为什么容易把主干模型搞坏、自蒸馏在无数据时怎么替代监督训练。可参考 Medusa 完全拆解:多头树式候选如何用一次验证解码多个 Token。

Medusa 论文中的 Medusa-2 是第二档训练配置,并非另一篇论文或后续版本。Medusa 由普林斯顿大学、Together AI、伊利诺伊大学厄巴纳-香槟分校、卡内基梅隆大学与康涅狄格大学的团队提出,2024 年 1 月放上 arXiv,发表于 ICML 2024。论文标题下的两档配置分别叫 Medusa-1 与 Medusa-2:前者冻结主干、只训练附加的解码头,后者让主干与解码头一起训练。论文报告 Medusa-1 在 Vicuna-7B 与 Vicuna-13B 上分别取得 2.18 倍与 2.33 倍加速,Medusa-2 在这两个规模上都到 2.83 倍。

因此这篇的主线有三条:

  • Medusa-2 的训练配方:组合损失、差异化学习率、头部预热,以及为什么直接微调会掉质量。
  • 自蒸馏:拿不到原始训练数据时,如何用模型自己生成标签,并借助 LoRA 做到零额外显存的双模型蒸馏。
  • 论文附录里的 Roofline 与解析模型:解释 Medusa 系列加速的条件、batch 与序列长度的拐点,以及为什么树不能一直变大。

本文不重复 Tree Attention 掩码推导和稀疏树搜索算法的逐步细节,但会在需要衔接时用一两句话回顾结论,并把重心放在站内前一篇没有展开的训练侧与硬件建模上。

为什么单纯多挂几个头不够

回顾一下 Medusa 的基本结构。设目标模型在位置 tt 的最后一层隐藏状态为 ht∈Rdh_t\in\mathbb{R}^d,原语言模型头给出

pt(0)=softmax⁡(WLMht),p_t^{(0)}=\operatorname{softmax}(W_{\mathrm{LM}}h_t),

第 kk 个附加头预测 t+k+1t+k+1 位置的 token:

pt(k)=softmax⁡(W2(k)(SiLU⁡(W1(k)ht)+ht)),k=1,…,K.p_t^{(k)}=\operatorname{softmax}\left(W_2^{(k)}\left(\operatorname{SiLU}(W_1^{(k)}h_t)+h_t\right)\right),\qquad k=1,\ldots,K.

这里 W1(k)∈Rd×dW_1^{(k)}\in\mathbb{R}^{d\times d},W2(k)∈RV×dW_2^{(k)}\in\mathbb{R}^{V\times d},dd 是隐藏维度,VV 是词表大小。论文初始化时把 W2(k)W_2^{(k)} 复制成原 LM Head 的权重、把 W1(k)W_1^{(k)} 置零,这样每个头初始输出与原模型完全一致,训练前不会把主干模型的输出分布打偏。

Medusa 的整体数据流:主干、附加解码头与树式候选验证

图源:Medusa 论文 Figure 1,由 arXiv 源文件中的原始绘图栅格化。左侧是原模型与末层隐藏状态,中间一列红色 Medusa Heads 读取同一隐藏状态并各自给出 top-k 预测,右上是组合出的候选树,右下是一次验证后提交的 token 序列。这个结构对 Medusa-1 与 Medusa-2 完全相同,两档配置的区别只在训练时主干是否解冻。

问题在于,这个初始化只保证“起点一致”,不保证“跑远了还能对得上”。第 kk 个头只有一层前馈加残差,它的输入永远是同一个 hth_t,而目标 token xt+k+1x_{t+k+1} 的真实生成过程要经过 kk 步自回归,中间还夹着多次注意力与 MLP 变换。头的表达能力与主干的后续计算相比非常有限,只能学到“在 hth_t 上再往前猜几步”的统计模式。

当主干冻结时,hth_t 的分布是固定的,头只能在这个固定表示上做近似,误差完全由头和真实后续计算的差距决定。当 kk 变大,误差会累积,这也是论文里 Lk\mathcal{L}_k 随 kk 增大而变大的直接原因。Medusa-1 的接受率因此有一个由表示质量决定的上限。

Medusa-2 的出发点就是把这个上限抬高:既然头看到的是 hth_t,那就让主干在训练中朝着“更有利于多步预测”的方向轻微调整自身表示,同时用严格配方保证主干原有的 next-token 预测能力不被破坏。听起来简单,难在两点:一是主干一旦改动,原模型的质量就是可取消的;二是头在训练早期损失很大,梯度会顺着共享的隐状态反传进主干,把主干拉偏。

论文用一张消融表把这个过程讲得很清楚。仅仅训练 Medusa 头、不加树注意力的第一阶段约 1.5 倍加速;加入树注意力后约 1.9 倍;采用优化后的稀疏树配置达到约 2.2 倍;最后用 Medusa-2 配方训练头,跳到约 2.8 倍。前几步是推理侧工程,最后一步是训练侧表示改进。两部分收益来源不同,不能混为一谈。

Medusa-1:冻结主干时的损失设计

Medusa-1 是最轻的一档。主干完全冻结,只追加 KK 个头,用下一 token 的交叉熵训练每个头。给定位置 tt 之后第 kk 步的真值 token yt+k+1y_{t+k+1},第 kk 个头的损失是

Lk=−log⁡pt(k)(yt+k+1).\mathcal{L}_k=-\log p_t^{(k)}(y_{t+k+1}).

直接把它们相加并不理想。kk 越大,预测任务越难,单头损失就越大,如果等权相加,总梯度会被最远的头主导。论文引入权重 λk\lambda_k,总损失为

LMedusa-1=∑k=1K−λklog⁡pt(k)(yt+k+1).\mathcal{L}_{\text{Medusa-1}}=\sum_{k=1}^{K}-\lambda_k\log p_t^{(k)}(y_{t+k+1}).

实际设置里 λk=0.8k\lambda_k=0.8^k,即每远一步衰减到前一步的 0.8 倍。这个数字并非标定得来,而是为了让损失曲线在训练中相对平衡:近处头学得准,远处头学得粗,梯度量级接近。

Medusa-1 有一个常被低估的性质:它不改变主干的任何参数,所以主干输出的分布完全不变;在贪心解码下,只提交与目标模型逐步 argmax 一致的前缀,因此输出逐 token 等价。这也是论文摘要中说 Medusa-1 是 lossless 加速的依据。这里的“无损”是相对于主干 token 序列而言的,不是指它保持了任意采样策略下的分布。典型接受是另一层机制,后面会单独讨论它和“无损”之间的差别。

Medusa-1 的另一条工程优势是主干可以用量化版本加载。既然主干只负责提供隐藏状态,就可以加载 4-bit 量化的主干来省显存,然后只训练额外的头,就像 QLoRA 的思路。论文报告在单张 NVIDIA A100 PCIe 上训练 Vicuna-7B 的 Medusa-1,60000 条 ShareGPT 样本大约五小时完成。这个成本远低于从零预训练一个草稿模型——论文引用的 SpecInfer 工作里草稿模型预训练花了约 275 A100 小时。

但低成本换来的也是较低上限。Medusa-1 的增益止步于“在固定表示上尽可能准”,论文中约 2.2 倍左右。

Medusa-2:联合训练的三件套

Medusa-2 让主干和解码头一起训练,目标是提高头的预测准确率,从而拿到更长的平均接受长度。前提是必须有一套“不伤主干”的配方。论文给出三条策略,缺任何一条都会出问题。

组合损失:主干监督不能丢

如果只追加头的损失,主干会被优化成“对多头预测友好”但不一定保持原质量的模型。为此 Medusa-2 的总损失里必须保留主干的 next-token 交叉熵

LLM=−log⁡pt(0)(yt+1),\mathcal{L}_{\text{LM}}=-\log p_t^{(0)}(y_{t+1}),

并与 Medusa-1 式的头损失加权组合:

LMedusa-2=LLM+λ0LMedusa-1.\mathcal{L}_{\text{Medusa-2}}=\mathcal{L}_{\text{LM}}+\lambda_0\mathcal{L}_{\text{Medusa-1}}.

λ0\lambda_0 控制“保持主干”与“优化头”之间的比重。论文在 Vicuna-7B/13B 的监督训练中取 λ0=0.2\lambda_0=0.2;在自蒸馏场景中取 λ0=0.01\lambda_0=0.01,原因是那里主干损失换成了 KL 蒸馏项,本身就比较小,权重自然要进一步调低。

为什么是 LLM\mathcal{L}_{\text{LM}} 加而不是两个损失各自独立?因为主干的参数只通过共享 backbone 被两个损失同时影响:LLM\mathcal{L}_{\text{LM}} 把主干拉回“正确预测下一个 token”的方向,LMedusa-1\mathcal{L}_{\text{Medusa-1}} 把主干往“产生对多步预测有用的表示”方向推。两者加权相加就是让主干在两个目标之间做一次受控的折中,λ0\lambda_0 决定折中的位置。

差异化学习率:头需要更快跟上

主干已经在大量数据上预训练过,参数非常稳定;头是随机初始化后刚刚开始训练,需要吸收更多信息。如果两者共享学习率,头学得太慢,主干又会因为头早期的噪声被不必要地扰动。

论文设置头的学习率为主干的 4 倍。在 Vicuna-7B/13B 的监督训练里,主干峰值学习率 5×10−45\times10^{-4}、头峰值学习率 2×10−32\times10^{-3},并带 40 步 warmup。这里的 4 倍不是随意放大,而是为了让头在几个 epoch 内迅速追上主干特征的统计量,同时把主干留在足够小的扰动范围。

头部预热:先把头训稳,再联动主干

这是三条里最关键的一条。训练开始时,头的输出虽然做了“与 LM Head 一致”的初始化,但 W1(k)W_1^{(k)} 是从零开始,加上 λk\lambda_k 衰减的远期损失,早期头损失依然很大,梯度也很大。如果一开始就让这些梯度反传进主干,主干会被拉到一个不太合理的偏移点上,之后很难恢复。

论文采用两阶段训练:

  1. 第一阶段,冻结主干,按 Medusa-1 训练头,直到头损失降到较低水平;
  2. 第二阶段,解冻主干,开始联合训练;主干可以用少量 epoch 的 warmup,或采用更平滑的方式,让组合损失中主干那一项的权重从零逐步上升。

论文给出两种 warmup 形式:一种是先单独训练主干几个 epoch,再让头与主干一起训;另一种是在联合训练中把权重 λ0\lambda_0 从接近零逐步升到目标值。两种都能工作,后者更平滑,尤其是在数据量较少时。

预热的本质是让头先与主干对齐到“几乎不干扰”的点,然后再让主干在较小梯度下微调,这个思路在很多“外挂模块与主干共同训练”的工作里都出现过,例如参数高效微调里先训练适配器再放开主干。这里的区别在于解码头通过共享的隐状态强依赖主干,扰动的传播路径比一般的适配器短,预热更必要。

两阶段配方与“直接微调”的对照

论文用 Vicuna-7B 做了直接对照:

配置MT-Bench 质量(GPT-4 评分)加速倍数
基线 Vicuna-7B6.17N/A
主干与头直接一起微调5.925N/A
Medusa-16.232.18
Medusa-2(两阶段)6.182.83

直接一起微调时质量掉到 5.925,加速效果没有报出来,原因正是前面分析的:头与主干互相牵制,主干在早期被拉偏、头的表示没有被正确引导。Medusa-2 走两阶段后质量回到与基线相当,同时加速倍数从 2.18 涨到 2.83。这个对照是 Medusa-2 配方必要性的最直接证据。

需要注意,MT-Bench 分数是 GPT-4 作为评审给出的经验结果,6.17 与 6.18 的差距基本在评分噪声范围内。配方保质量的说法应理解为在该评测上的近似不下降,不应理解为在所有任务上的严格等价。

多模型规模下的表现与自蒸馏场景

论文对 Medusa-2 在四个模型上做了比较:Vicuna-7B、Vicuna-13B、Vicuna-33B 和 Zephyr-7B。前三者来自 Llama-2 后经 ShareGPT 等对话数据微调,Vicuna-33B 的训练数据是私有数据,Zephyr-7B 经过 RLHF。前两个模型有可获取的原始训练数据,后两个没有。

模型平均接受长度单轮延迟膨胀MT-Bench 质量变化Medusa-2 加速标准投机解码加速
Vicuna-7B3.471.22+0.012.831.47
Zephyr-7B3.141.18-0.072.66未报
Vicuna-13B3.511.23-0.142.831.56
Vicuna-33B3.011.27+0.052.351.60

这张表有两个关键观察。

第一,加速比满足论文自己给出的关系:

S=Aˉγ,S=\frac{\bar A}{\gamma},

其中 Aˉ\bar A 是平均每轮提交的 token 数(表中“平均接受长度”),γ\gamma 是 Medusa 单步延迟相对普通自回归单步的比值(表中“单轮延迟膨胀”)。以 Vicuna-7B 为例:3.47/1.22≈2.843.47/1.22\approx2.84,与表中的 2.83 一致。这说明所谓加速不是神秘的工程效果,而是“多提交了多少 token”与“单步慢了多少”两个可测量量的比值。想要更长加速,要么提 Aˉ\bar A,要么压 γ\gamma。

第二,相比标准投机解码(使用开源的独立草稿模型),Medusa-2 在四个模型上都领先:1.47 对 2.83,1.56 对 2.83,1.60 对 2.35。标准投机解码的加速受草稿模型的目标模型分布偏移限制,而 Medusa 的两个头完全依附在目标模型的主干上,这是它接受率更高的结构原因。

Zephyr-7B 与 Vicuna-33B 没有原始监督训练数据可用,自蒸馏就是在这两个模型上验证的。

自蒸馏:没有训练数据时怎么训头

自蒸馏解决的问题很现实:模型所有者可能只发布权重不发布数据,或者模型经过 RLHF 后输出分布已经与 SFT 数据不一致。此时若仍然用原始 SFT 数据当标签,头学到的是“微调前的分布”,与线上模型的输出对不上,接受率会打折扣。

论文的做法很直接:

  1. 选择一个与目标模型领域接近的公开种子数据(对话模型常用 ShareGPT 或 UltraChat),只取其中的提示词;
  2. 让目标模型在种子提示上生成回复,得到与该模型分布对齐的数据集,两个案例都收集了约十万条样本;
  3. 用这批数据训练头与主干。

在 Vicuna-33B 上,论文按多轮种子对话逐轮喂入提示,在温度 0.3 下做随机采样来生成多轮回复。Zephyr-7B 有一个有趣的性质:它经过 RLHF 后能够单提示自续多轮对话,只要喂一个提示,就能连续生成多轮,数据收集很省事。两个模型都在序列长度 2048、batch size 128 下训练。

到这里为止,Medusa-1 直接就能用自蒸馏数据训练。问题出现在 Medusa-2。

为什么 Medusa-2 的自蒸馏不能直接用真值

论文观察到一个反常现象:仅用模型自己生成的回复当作标签,即使不训练头、只训练主干,也会让主干质量下降。原因在于自蒸馏数据本身带有噪声:模型采样出的回复不是“正确”的,只是“看起来像该模型会说的”。用真值 token 去监督,相当于在错误标签上把主干往更自信的方向推。

正确的做法是对主干改用分布层面的蒸馏,即让训练中的主干输出对齐原始模型的输出分布:

LLM-distill=KL⁡(poriginal,t(0) ∥ pt(0)),\mathcal{L}_{\text{LM-distill}}=\operatorname{KL}\left(p_{\text{original},t}^{(0)}\,\|\,p_t^{(0)}\right),

其中 poriginal,t(0)p_{\text{original},t}^{(0)} 是原始模型在位置 tt 的下一个 token 分布,pt(0)p_t^{(0)} 是训练中主干的同位置分布。KL 散度把“输出分布的整体形状”作为监督信号,而不是把某个采样 token 当真值,于是避免了在噪声标签上过拟合。这就是经典的序列级知识蒸馏(Kim 与 Rush,2016)。

头的损失仍然用真值交叉熵,对应自蒸馏数据里的采样 token。严格意义上头也是在这个“自我生成的分布”上学习,但头负责的是远端预测,它对具体某个 token 的精确性要求低于主干对整体分布的保持,这个权衡在论文里被接受。

LoRA 让“原始模型”和“训练模型”共享同一份权重

朴素地实现上面的 KL 蒸馏要同时维护两个模型:原始 model 与训练中的 model。这会把训练显存翻倍,也让 Medusa-2 失去它在单卡上可训的优势。

论文的做法是用 LoRA 微调主干:训练中只改 LoRA 适配器的参数,主干原始权重不变。此时“原始模型”就是“把 LoRA 关掉”的状态。训练时先在前向中关闭适配器得到参考分布,再开启适配器得到训练分布,两条前向路径共享同一份主干权重,不需要第二份模型。这就把自蒸馏从“两模型蒸馏”变成了“一份权重、两次前向”。

论文提醒了一个细节:这种情况下最好使用不带量化的 LoRA。如果用 QLoRA,原始模型这一路读到的就是量化后的主干,教师本身就带了量化误差,蒸馏出来的学生质量会明显降低。这与 Medusa-1 里推荐量化主干、Medusa-2 里要求教师非量化的取舍是一致的。

自蒸馏超参数

自蒸馏场景的超参数与监督训练差别很大,论文给的具体值是:

  • 主干 LoRA 峰值学习率 1×10−41\times10^{-4},warmup 20 步,因为 KL 蒸馏损失较小;
  • 组合损失中的 λ0\lambda_0 设成 0.01,远小于监督训练里的 0.2;
  • 主干损失权重 λ0\lambda_0 采用正弦调度,从接近零逐步升到峰值,替代两阶段预热。

λ0\lambda_0 从 0.2 降到 0.01 的直觉是:监督训练中 LLM\mathcal{L}_{\text{LM}} 是真值交叉熵,与头损失的尺度相近,所以需要显式权重来防止主干损失被淹没。自蒸馏中主干损失已经换成 KL,数值小、梯度温和,再叠加过大的 λ0\lambda_0 反而会让主干对噪声数据响应过度。

Zephyr-7B 在自蒸馏下得到 3.14 的平均接受长度、2.66 倍加速,MT-Bench 分数下降 0.07。Vicuna-33B 得到 3.01 的平均接受长度、2.35 倍加速,MT-Bench 分数反而上升 0.05。论文对 Vicuna-33B 的较低接受率给出的解释是:它的私有 SFT 数据与用于自蒸馏的种子数据分布不一致,头学到的是一个与主干 SFT 分布有偏移的表示。

这一点对实际部署有直接含义:在某个 checkpoint 上训练出的头,只保证在该 checkpoint 的输出分布附近有较好的接受率。如果把主干换成另一个微调版本,或换成不同的对齐风格,就要重新收集自蒸馏数据训练头,不能把旧头直接搬过去。

树注意力与典型接受:与训练并列的两条推理侧机制

Medusa-2 的训练只是把“在相同树配置下每轮能提交多少 token”这一项提高了,其余推理侧机制与 Medusa-1 共享。

Tree Attention 的规则是把候选树按深度展平,每个候选只能看到已确认历史、自己和祖先节点。若 uu 是 query 节点、vv 是候选区 key 节点:

Muv={0,v∈Ancestors⁡(u)∪{u},−∞,其他情况.M_{uv}=\begin{cases} 0, & v\in\operatorname{Ancestors}(u)\cup\{u\},\\ -\infty, & \text{其他情况}. \end{cases}

位置编码按树的深度而不是展平下标递增;同一深度的兄弟节点共用位置。这套规则的推导前一篇已经完整给出,此处只需要记住结论:Tree Attention 保证每个候选节点的隐藏状态与单独跑一遍该候选路径得到的结果一致,所以多个候选可以在一轮中同时验证而不串味。

典型的接受规则用于采样温度非零的场景。对于第 jj 个位置的目标分布 pjp_j,定义熵

H(pj)=−∑v=1Vpj(v)log⁡pj(v),H(p_j)=-\sum_{v=1}^{V}p_j(v)\log p_j(v),

阈值

τj=min⁡(ϵ,δexp⁡(−H(pj))),\tau_j=\min\left(\epsilon,\delta\exp(-H(p_j))\right),

候选 token cjc_j 被接受的条件是 pj(cj)>τjp_j(c_j)>\tau_j。ϵ\epsilon 是概率硬上限,δ\delta 是熵敏感系数。官方实现中对应 posterior_threshold=0.3 与 posterior_alpha=0.09。根 token 来自原 LM Head,无条件提交以保证每轮至少前进一步,其余 token 用上述规则取最长连续前缀。

典型接受和“无损”之间的关系是 Medusa 体系里最容易混淆的一处。在温度为 0(贪心)时,目标分布集中在单一 token 上,H(pj)=0H(p_j)=0 使 exp⁡(−H)=1\exp(-H)=1,阈值变成 min⁡(ϵ,δ)\min(\epsilon,\delta);候选只有 argmax 的概率可能超过这个阈值,这时提交的就是与普通贪心一致的 token,Medusa-1 的无损性质成立。温度大于 0 时典型接受接受的是“目标模型认为足够典型”的 token,并非“按目标分布采样出的 token”,因此它改变了采样过程本身,不是分布意义上的无损。要求重现目标分布时应关闭典型接受,改用带校正的拒绝采样。

硬件视角:为什么这套东西能快,在哪里会变慢

论文附录里有一大段容易被跳过、但对理解 Medusa 加速边界非常重要的分析。下面按“Roofline 实测—Medusa 下算子位置变化—解析模型预测拐点”三步梳理。

第一步:测出解码阶段各算子在 Roofline 上的位置

论文在 A100-80GB-PCIe、A40 和 A6000 三张卡上,对 Llama-7B/13B/33B 的线性层(XWQ,XWK,XWVXW_Q,XW_K,XW_V 与 XWu,XWg,XWdXW_u,XW_g,XW_d)和注意力矩阵乘(QK⊤QK^\top、PVPV)做了实测,batch 从 1 到 64 按 2 的幂、序列长度从 128 到 8192 按 2 的幂,每个算子合计 49 组设置。

Llama-7B 各算子在 A100-80GB-PCIe 上的 Roofline 实测

图源:Medusa 论文附录,由 arXiv 源文件中的 Llama-7B Roofline 图栅格化。横轴是运算强度(FLOP/Byte),纵轴是实际达到的 FLOP/s,两条虚线分别是 1935 GB/s 的 HBM 带宽上限与 312 TFLOP/s 的算力上限。图例中的 ar 代表解码阶段,init 代表预填充阶段。

从这张图能读出三个关键事实:

  • 预填充与解码的注意力算子处在不同的位置。预填充阶段(qk/pv init)的运算强度随 batch 变化显著,但解码阶段(qk/pv ar)的运算强度几乎不再随 batch 变化。原因是解码时每个 query 要与全部历史 key 做点积,key 的个数是 ss(序列长度),每步读写 KV Cache 的流量随 ss 增长,而每次只算一个 query,这使注意力解码的运算强度被钉在带宽约束附近。
  • 解码阶段的线性层全部贴着带宽斜率。qkv mlp ar 和 up/gate/down ar 的点几乎落在与 HBM 带宽同斜率的线上。解码每步只处理一个 token,但权重全部读一遍,因此运算强度极低,是典型的显存带宽受限。
  • 预填充阶段的线性层都接近算力上限。qkv mlp init 和 up/gate/down init 的点簇在计算上限附近,说明预填充是算力受限的。

论文指出这些算子的点位置在不同 GPU、不同模型尺寸上高度一致:算子的相对位置由 transformer 结构决定,绝对值由各卡带宽与峰值算力决定。这条结论给下面两步做了铺垫。

第二步:Medusa 下算子怎么在 Roofline 上移动

把上面观测到的“解码阶段在带宽侧、预填充阶段在算力侧”这个事实,与 Medusa 把每步的 query 数从 1 扩到 qq(候选树节点数)结合起来,就可以预测 Medusa 对算子的影响。

以 Llama-33B 在 A100-80GB-PCIe、batch=16、序列长度 1024、64 个候选 token 的设置为例,论文测得:

  • 注意力矩阵乘的 FLOP/s 提升约 44 倍,运算强度提升约 41 倍;
  • up/gate/down 线性层从带宽受限区移到算力受限区。
Llama-33B 在 Medusa 64 候选下的注意力矩阵乘 Roofline

图源:Medusa 论文附录,Llama-33B 注意力矩阵乘在 batch=16、64 个候选 token 下的实测。灰色点是普通解码,彩色点随候选数增加向右上方移动,说明 Medusa 确实在把解码阶段的运算强度推向算力侧。

为什么注意力能如此大幅提升?普通解码一个 query 读取 ss 个 key,运算强度约为 2 FLOP/Byte 量级;Medusa 增加 qq 个候选 query 后,同一批 key 被 qq 个 query 共享,只要 key 的读取没有被复制 qq 次,运算强度就近似乘以 qq。64 候选对应 40 倍左右的提升说明这一点在实现上基本成立。

线性层的移动机理略有不同。普通解码每个权重元素服务 1 个输入向量;Medusa 让它服务 qq 个输入向量,权重读取被摊薄 qq 倍,运算强度按 qq 线性上升。论文指出 up/gate/down 线性层在解码阶段与序列长度无关(因为只处理新 token,历史 KV 已缓存),所以只看 batch 变化就能观察到从带宽侧跨到算力侧。

这一节给 Medusa 的价值做了机器层面的解释:Medusa 并没有改变权重总量,也没有改变 KV Cache 总量,它做的是把每一步闲置的算力拿出来,换取更少的串行步数。低 batch 单流解码本来就喂不满 GPU,多算一些候选几乎不涨耗能,只可能涨一点时间;这一步的代价才是“单轮延迟膨胀 γ\gamma”的物理来源。

第三步:解析模型预测拐点

只测单个算子还不够,还需要把各算子加起来预测整个一步的延迟。论文搭了一个简化的 Llama-7B 单 block 模拟器,按顺序处理 XWQXW_Q、XWKXW_K、XWVXW_V、QK⊤QK^\top、PVPV、XWuXW_u、XWgXW_g、XWdXW_d,并用实测数据拟合接受长度的经验曲线。

论文用实测接受长度与候选数的关系拟合出一个近似对数形式:

acc_rate≈0.477log⁡(num_candidate),\text{acc\_rate}\approx 0.477\log(\text{num\_candidate}),

并把它与各算子的实测时间叠加,模拟不同 batch、不同序列长度下的端到端加速。这个拟合是经验性的,仅用于解释趋势,不能当作普适公式。

模拟加速随 batch 与候选数的变化(Llama-7B,序列长度 1024)

图源:Medusa 论文附录,Llama-7B 在序列长度 1024 下,不同 batch 与候选数组合的模拟加速。曲线的峰值说明 Medusa 的加速随 batch 先增后减。

模拟给出两个结论:

  • 序列长度 1024 时,batch 超过 32 后加速下降,甚至可能出现负加速。原因是线性层在高 batch 下已经进入算力受限区,再增加候选只会增加计算,不再摊薄权重读取。
  • 在 batch=4 时,最优候选数对序列长度不敏感,但整体加速随序列长度增加而下降。原因是注意力计算部分的开销随 ss 增长,而线性层部分的计算时间与 ss 无关。

这两个结论和推理服务的实际部署对应得上:Medusa 主要适用于单流、低 batch、短到中等上下文的场景。高 QPS 在线服务里 batch 已经很大,把每请求再扩成几十个候选会直接推高算力占用;长上下文对话里注意力的 KV 读取会成为主开销,Medusa 的加速还会进一步被压缩。

这部分也解释了为什么前一篇里树的节点数存在最优点。树越大 Aˉ\bar A 越高,但 γ\gamma 也越高,当后者的相对增幅超过前者时,S=Aˉ/γS=\bar A/\gamma 反而降。论文的稀疏树消融——64 节点稀疏树比 256 节点稠密树加速更好——是这条规律在具体配置上的体现。

工程视角:把 Medusa-2 落到部署流程里

如果要在一个实际系统里用 Medusa-2,流程与 Medusa-1 有本质区别,需要按下面的顺序判断和准备。

判断是否具备训练条件

第一,是否有与目标 checkpoint 对齐的监督数据(就是 SFT 数据本身)。有的话优先走监督训练配方;没有的话走自蒸馏。

第二,是否能接受主干参数的改动。Medusa-2 会产生一个新的主干权重版本,虽然 MT-Bench 分数相近,但这与 Medusa-1 的“主干完全不变”不同。涉及主干一致性、审计、合同约束的部署应选 Medusa-1。

第三,是否有 LoRA 或 QLoRA 环境。自蒸馏方案依赖 LoRA 适配器作为“教师”的切换机制,没有 LoRA 工具链会增加实现成本。

训练配方实施要点

  • 头数设成 5,层数设成 1。论文经验上认为五个头已足够,推理时可用稀疏树优化只启用前 3 到 4 个,尾部头可忽略。
  • 头初始化:W2(k)W_2^{(k)} 复制原 LM Head 权重,W1(k)W_1^{(k)} 置零,保证初始输出与主干一致。
  • 损失权重 λk=0.8k\lambda_k=0.8^k,监督训练中 λ0=0.2\lambda_0=0.2。
  • 先训练 Medusa-1 到较低损失,再解冻主干进入 Medusa-2;或者采用 λ0\lambda_0 从 0 逐步上升的平滑调度,二选一。
  • 头学习率是主干的 4 倍;主干 LoRA rank 32、alpha 16、dropout 0.05,应用于主干所有线性层(包括 LM Head)。
  • 自蒸馏时教师路径关闭 LoRA,学生路径开启 LoRA,主干损失换成对原始模型分布的 KL。
  • 优化器用 8-bit AdamW,学习率调度用 cosine + warmup;论文在 Vicuna-7B/13B 的监督训练中使用全局 batch 64、warmup 40 步,并让头训练 2 个 epoch。

部署侧配套

  • Tree Attention 的祖先掩码、tree_indices、position_ids、retrieve_indices 四个张量可在启动时预计算,热路径上只做填充。
  • 接受阶段之后必须把被接受路径的 KV 从树布局搬到已确认区,未接受分支的 KV 作废。若系统使用分页 KV Cache,要区分临时页与已确认页,避免失败分支被前缀缓存引用。
  • 典型接受参数(epsilon、delta 或 posterior_threshold、posterior_alpha)需按模型、温度、质量目标校准,不能直接取仓库默认值。
  • 监控指标应包含每轮提交 token 数分布、单轮延迟膨胀、头部计算、树验证、接受判定与 KV 提交各自耗时;只看平均 tokens/s 会掩盖瓶颈转移。

局限与适用边界

Medusa-2 的收益来源是“主干表示变得更适合多步预测”,因此它的边界也与训练侧的诸多条件高度耦合。

第一,训练成本比 Medusa-1 高。监督训练需要可获取的 SFT 数据,自蒸馏需要先生成约十万条与模型分布对齐的对话,还需要 LoRA 工具链。对只想要“不改主干、快速加速”的场景,Medusa-1 往往够了。

第二,改动主干后必须在业务任务上独立验证质量。MT-Bench 的平均分不覆盖代码正确性、结构化抽取准确性、安全约束等维度,配方保的是“整体分布近似不变”,不保“每一项能力严格不降”。

第三,头与特定 checkpoint 强绑定。自蒸馏尤其如此:目标模型在某个 SFT 数据上微调、或者经过 RLHF,头只学到该模型当时的输出分布。对齐发生变化后必须重训头,不能跨 checkpoint 迁移。

第四,加速集中在低 batch、单流、中等长度上下文。高 QPS、高 batch、长上下文这三种条件下 Medusa 的 γ\gamma 会显著上升,加速下降甚至可能为负,需要按模拟结果与实际负载测量分别评估。

第五,典型接受改变了采样过程,不是分布无损的加速。严格要求可复现输出分布时,应关闭典型接受,改用贪心或带校正的拒绝采样。

与后续多头推理加速工作的关系

Medusa 系列发表后,多头解码头的思路出现了若干个独立改进方向,可以作为后续阅读的参照:

  • Hydra:把多头之间的条件独立问题消解——让第 kk 个附加头看到前面几个头选择的具体 token,而不是都只看同一个 hth_t。这直接把 Medusa-2 之外的另一条改进口径:在不改主干的前提下提高远期头的准确率。
  • Speculative Streaming:不再在模型外挂独立的解码头,而是用多流注意力把多个未来位置的预测直接微调进模型本体,主干本身就具备并行提议能力,代价是必须重新训练模型。
  • EAGLE:把“多头”换成“特征层面的自回归草稿”,每一步草稿条件于前一步的特征与 token。它的候选质量更高,草稿阶段却要顺序执行。关于这条路线以及 EAGLE 系列演进可参考 EAGLE 完全拆解 与 EAGLE-2 动态草稿树。
  • 原生 MTP:把未来 token 的预测模块做成模型本体的一部分,深度之间按顺序连接,融入原生结构。DeepSeek 系列模型使用了这种方式,可参考 MTP 完全拆解。

Medusa-2 在这条谱系里的定位是:保留了“不引入第二个 Transformer”的核心优势,同时承认“所有头都看同一个 hth_t”会限制远期准确率,于是让主干在训练中为多步预测让步,并把这种让步严格约束在配方的三条规则之内。它不试图追求多头之间的条件依赖,而是通过“更好的共享表示”提高所有头的命中率。

小结

Medusa-1 与 Medusa-2 是同一篇论文里的两档配置。前者冻结主干、只训练附加头,用 λk=0.8k\lambda_k=0.8^k 调整不同深度的损失权重,能在量化主干上以五小时量级的成本训完,贪心解码下与主干逐 token 等价;后者联合训练主干,用组合损失、差异化学习率和头部预热三件套保住主干能力,自蒸馏场景则把主干损失换成 KL 并用 LoRA 做到零额外显存的双模型蒸馏。

加速比 S=Aˉ/γS=\bar A/\gamma 是从两张表里可直接验证的关系:Medusa-2 在 Vicuna-7B 上把 Aˉ\bar A 推到 3.47、γ\gamma 保持在 1.22,对应 2.83 倍。Roofline 分析进一步解释了为什么这是可能的:普通解码的线性层和注意力都贴着显存带宽,Medusa 用 qq 个候选把运算强度推到数十倍,把闲置算力换成更少的串行步数。解析模型同时给出边界:batch 超过 32 后加速下降,长上下文下注意力开销上升,高并发线上部署应把 Medusa 视作单项技术而不是吞吐万能药。

理解 Medusa-2,关键是把“损失里的三项配方”“LoRA 下的双模型蒸馏”“Roofline 上的算子移动”看成同一件事的三个视角:它们分别回答“怎么训不出坏模型”“没有数据怎么训”“为什么训完之后会更快”。

参考资料

  1. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads(ICML 2024)
  2. Medusa arXiv 论文与附录
  3. FasterDecoding/Medusa 官方实现
  4. Medusa-2 Hugging Face 权重(vicuna-7b-v1.5)
  5. Medusa-1 Hugging Face 权重(vicuna-7b-v1.3)
  6. Hydra: Sequentially-Dependent Draft Heads for Medusa Decoding
  7. Speculative Streaming: Fast LLM Inference without Auxiliary Models
  8. EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
  9. Blockwise Parallel Decoding for Deep Autoregressive Models
  10. Sequence-Level Knowledge Distillation
  11. LoRA: Low-Rank Adaptation of Large Language Models
  12. NVIDIA A100 Tensor Core GPU 数据手册

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

Medusa-2 完全拆解:联合训练如何让多头候选从 2.18 倍走到 2.83 倍
https://pinghaoyang.com.cn/articles/insights/posts/medusa2-joint-training/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录