GRPO 与 DeepSeek-R1 完全拆解：纯强化学习如何涌现长思维链

从 PPO 的目标函数说起#

DeepSeekMath 论文先用标准形式给出了 PPO 的代理目标（论文式 1）：

符号逐个解释：

• $q$ 是从问题集 $P(Q)$ 里采样的题目，$o$ 是从旧策略 $\pi_{\theta_{old}}$ 采样出来的整条回答，$|o|$ 是回答的 token 数。
• $\pi_\theta$ 是当前要更新的策略，$\pi_{\theta_{old}}$ 是这一轮采样时用的策略（在 LLM 场景里就是”上一次参数更新后的模型”）。两者之比是重要性采样比，衡量当前策略相对采样时策略对同一个 token 的偏好变化了多少。比值大于 1 表示当前策略更倾向于这个 token。
• $A_t$ 是第 $t$ 个 token 的优势，在 PPO 里由 GAE 计算：它既用到了奖励，也用到了学出来的价值函数 $V_\psi$。
• $\varepsilon$ 是裁剪超参。$\min$ 取”未裁剪项”和”裁剪项”里更小的那个，构成一个下界式的保守更新：当优势为正时，比值超过 $1+\varepsilon$ 的部分不再产生梯度；当优势为负时，比值低于 $1-\varepsilon$ 的部分也不再产生梯度。
• 最外层的 $1/|o|$ 是按长度做平均，让不同长度的回答对梯度的贡献处在同一量级。

PPO 还有一个关键设计：把 KL 惩罚做成逐 token 的密集奖励（论文式 2）：

其中 $r_\varphi$ 是奖励模型，$\pi_{ref}$ 是参考模型（通常是初始的 SFT 模型），$\beta$ 是 KL 惩罚系数。也就是说，在 PPO 里，KL 不是加在损失上，而是逐 token 扣在奖励里，然后一起进 GAE 去算优势。

GRPO 的目标函数逐项拆解#

GRPO 的目标函数（DeepSeekMath 论文式 3）长这样：

和 PPO 逐项对照，变化只有三处，但每一处都很重：

1. 采样单位从”一条回答”变成”一组回答”。对每个问题 $q$，从 $\pi_{\theta_{old}}$ 采样 $G$ 条输出 $\{o_1,\dots,o_G\}$，外层用 $1/G$ 在组内做平均。$G$ 就是所谓的组大小（group size）。
2. 优势 $A_t$ 换成了 $\hat{A}_{i,t}$。这是组内相对优势，只依赖组内这 $G$ 个奖励，完全不需要价值模型。它的下标同时带 $i$（组内第几条）和 $t$（第几个 token），含义是：同一个优势值被赋给该条输出里的每一个 token。
3. KL 项从奖励里搬到了损失里，并且换成了一个无偏估计量（论文式 4）：

这个估计量来自 Schulman 2020 年的 KL 估计笔记，常被称作 $k_3$ 估计量。它有个漂亮的性质：对任意正数 $x=\pi_\theta/\pi_{ref}$，函数 $x^{-1}-\log x^{-1}-1$ 恒大于等于 0（因为 $\log u\le u-1$），所以它不会像朴素的 $-\log(\pi_\theta/\pi_{ref})$ 那样采出负值来。论文特意强调了一句：“which is guaranteed to be positive.”——每一步算出来的 KL 都是非负的，这对训练稳定性不是小事。

KL 项为什么放在损失里，而不是奖励里#

这是 GRPO 和 PPO 最容易被忽略、但影响最大的差异。

DeepSeekMath 论文的原话是：GRPO 不在奖励里加 KL 惩罚，而是把训练策略与参考策略之间的 KL 散度直接加到损失里，这样做避免让优势的计算复杂化。逻辑很直白：如果 KL 进奖励，那它就会参与优势估计——在 PPO 里意味着它要进 GAE，在 GRPO 里意味着它要进组内归一化；而 KL 是逐 token 的稠密信号，把它混进一个”整条回答一个标量分”的相对比较框架里，只会让组内的均值标准差被长度相关的噪声污染。

R1 论文在附录 A.3 里补充了一个更本质的后果：强化学习的目标是最大化累计奖励，所以 PPO 那种”逐 token 扣 KL”的做法，惩罚的是累计 KL，这会隐式地惩罚回答长度，从而阻碍模型把回答写长。而 R1 这一系列工作的核心现象之一就是”思考时间随训练增长”，长度必须能涨上去。把 KL 从奖励里拿出来、直接加到损失上，就绕开了这层隐式长度惩罚。

顺带一提，这也是为什么读论文时要分清论文原文与实际实现。同一个 GRPO，在不同版本和不同代码库里的写法并不完全一致：

• DeepSeekMath 原文是严格的 token 级：优势带 $t$ 下标，KL 也带 $t$ 下标，外层还有 $1/|o_i|$ 做长度归一。
• R1 论文第 2.1 节给出的目标函数在写法上更”粗”：公式里写的是 $A_i$ 而不是 $\hat{A}_{i,t}$，KL 项写的是整条输出 $o_i$ 的概率比而不是逐 token 形式，外层也没有了 $1/|o_i|$。
• 工程实现里，逐 token 计算重要性采样比与 KL 才是常态——因为只有逐 token 的 KL 才能对每个生成位置施加约束，也只有逐 token 的形式才能和裁剪机制配合。

R1 论文的 KL 系数是 0.001，DeepSeekMath 是 0.04，差了 40 倍。这个差距本身也说明：KL 项的强度不是原则问题，而是随训练规模、参考模型更新频率一起调的工程参数。

优势估计公式#

GRPO 的组内相对优势（DeepSeekMath 论文式 3 之后的定义，R1 论文式 3）：

其中 $r_i$ 是第 $i$ 条输出的奖励（在 R1-Zero 里就是规则奖励：答案对不对、格式对不对），$\mathrm{mean}(\mathbf{r})$ 是组内平均，$\mathrm{std}(\mathbf{r})$ 是组内标准差。$\tilde{r}_i$ 是归一化之后的奖励，把它赋给第 $i$ 条输出里的所有 token。

这个式子做了两件事：减均值提供了一个基线，除以标准差做了一次尺度归一。

无偏性：组均值为什么是合法基线#

先说减均值。有一个通用结论：任何只依赖问题 $q$、不依赖被评分的那条输出本身的基线，都不会改变策略梯度的期望。 推导只要三行：

设基线为 $b(q)$，考虑它对梯度期望的贡献项

第一步把 $b(q)$ 提出期望（它不依赖 $o$），第二步把梯度算子搬进求和号，第三步用”概率之和恒为 1”这个事实——常数的梯度是 0。所以减去基线只改变方差，不改变梯度的方向。这正是”基线是免费的午餐”这句话的数学来源：方差降了，偏差没来。

GRPO 的组均值就是这样一个基线：它由同一问题下的 $G$ 条输出的实际奖励算出来，衡量的是”这个问题在当前策略下能拿到什么分”。比它高的输出得到正优势、被强化，比它低的得到负优势、被抑制。它不需要泛化到没见过的状态——这恰恰是价值模型最难的部分。

严格地说，这里有一个细节值得点破：组均值里包含了 $r_i$ 自己的一份，所以它并不是严格的”与 $o_i$ 无关”的基线。把 $\hat{A}_i$ 展开写，$\nabla\log\pi(o_i|q)\cdot(r_i-\bar r)$ 中 $r_i$ 的自相关项会残留 $\frac{1}{G}\nabla\log\pi(o_i|q)\cdot r_i$，这一项的期望一般不为 0，因此理论上会引入 $O(1/G)$ 量级的偏差。当 $G$ 取 16 到 64 时，这个偏差很小；而它换来的是完全省掉一个与策略同规模的价值模型。这是一笔明确划算的偏差-方差交易：不是”GRPO 完全没有偏差”，而是”用一点点可控的偏差，换掉一整个训练不动、还占显存的 critic”。

方差：$G$ 个样本换来什么#

再说方差。设单条输出的奖励服从均值 $\mu$、标准差 $\sigma$ 的分布，那么用 $G-1$ 条其他输出的均值做基线的优势估计，噪声标准差是

对比”不做任何基线”的情形（用 $\sigma$ 做尺度），基线把优势的噪声压到了接近 1 倍标准差——也就是说，优势被标准化到了 $O(1)$ 的量级，与具体任务、具体奖励尺度无关。再对比”减掉一个完美的价值函数”的理想情形（噪声就是 $\sigma$），组均值基线的代价只是 $\sqrt{1+1/(G-1)}$ 这个系数：$G=16$ 时约 1.03，$G=64$ 时约 1.008。换句话说，用 16 条样本估出来的组均值，其质量已经非常接近一个训得很好的价值函数所提供的基线，而后者需要在训练中同步拟合、随策略漂移不断重建。

代价在采样那头：每条问题要生成 $G$ 条完整回答。R1 用的是 $G=16$，DeepSeekMath 用的是 $G=64$。这也是 GRPO 把成本从”训练侧多一个模型”转移到了”采样侧多几条输出”——在推理引擎足够快的系统里，采样比训练便宜得多。

为什么还要除以组内标准差#

只减均值也能去基线，为什么还要除以 $\mathrm{std}(\mathbf{r})$？

因为不同问题的奖励尺度差别很大。有的题目模型基本都对，组内奖励接近全 1，减完均值后优势全接近 0；有的题目难度适中，组内奖励一半 0 一半 1，减完均值后优势分布在 $\pm 0.5$ 附近；还有的题目用连续奖励（比如带部分分的奖励模型），尺度又不一样。如果不归一化，梯度就会被”刚好落在难度甜区”的那批题目主导——这也是一种隐式的课程偏差。除以组内标准差之后，来自不同问题的优势都变成同一量级，训练更像是对”同一批问题里相对更好/更差的回答”做比较。

论文还补充了一个设计上的自洽性论证：奖励模型通常是在”同问题下不同输出之间的比较”数据上训练的，所以奖励值本身就有强烈的相对含义。用组内相对的方式去算优势，正好和奖励模型的比较性质对齐。

输出监督与过程监督两种用法#

GRPO 的优势估计有两种用法，DeepSeekMath 都写了：

结果监督（outcome supervision）：奖励模型只给整条输出的末尾一个分，归一化之后赋给该输出的所有 token，也就是 $\hat{A}_{i,t}=\tilde{r}_i$。R1-Zero 和 R1 的推理 RL 用的就是这种。

过程监督（process supervision）：过程奖励模型给每个推理步骤的末尾打分，得到 $\mathbf{R}=\{\{r_1^{idx(1)},\dots,r_1^{idx(K_1)}\},\dots\}$，同样用全局均值和标准差归一化：

然后某个 token 的优势取”它之后所有步骤归一化奖励之和”，即 $\hat{A}_{i,t}=\sum_{idx(j)\ge t}\tilde{r}_i^{idx(j)}$。这样靠后的步骤只累加剩下的奖励，靠前的步骤能看到全局。

DeepSeekMath 的实验结论是：GRPO+PS 优于 GRPO+OS，说明更细粒度、步骤感知的梯度系数是有价值的。但要注意，这与 R1 的结论并不矛盾——R1 拒绝的是基于模型的过程奖励模型（因为难定义、难标注、易被 hack），而 DeepSeekMath 里这个过程监督同样是用奖励模型实现的，只是在小规模数学任务上还没暴露出问题。

DeepSeekMath 的配置#

DeepSeekMath 论文给出的是最”教科书”的一组配置：

• 策略模型学习率 $1\times10^{-6}$
• KL 系数 $\beta=0.04$
• 组大小 $G=64$
• 最大长度 1024，训练 batch size 1024
• 每个问题在每次探索阶段之后只做一次策略更新（对应算法 1 里的内层迭代 $\mu=1$）
• 奖励模型基于 DeepSeekMath-Base 7B 训练，学习率 $2\times10^{-5}$
• RL 数据是指令微调数据里 GSM8K 与 MATH 的思维链题目，约 144K 条

“每组样本只更新一次”这个设置值得强调。它意味着 GRPO 放弃了 PPO 那种”同一批采样数据反复多轮更新”的做法——因为一旦反复更新，重要性采样比会迅速偏离 1，裁剪频繁触发，梯度大面积被截断。用一次性更新，采样和更新严格配对，训练更稳，代价是样本效率低一些。R1 的配置同样是这个思路。

R1-Zero 与 R1 的配置#

R1-Zero 的训练配置（R1 技术报告 v2 第 2.1 节）：

• 学习率 $3\times10^{-6}$，KL 系数 0.001，rollout 采样温度 1
• 每个问题采样 16 条输出；在 8200 步之前最大长度 32768 token，之后放宽到 65536 token
• 每个训练步包含 32 个不同问题，训练 batch size 为 512
• 每 400 步把参考模型替换为最新的策略模型
• 每次 rollout 生成 8192 条输出，随机切成 16 个 minibatch，每个只训一个内层 epoch
• 总共训练 10400 步，约 1.6 个 epoch

注意 32768 → 65536 这个长度切换发生在第 8200 步。论文说，正是因为放开了最大长度限制，R1-Zero 的性能和响应长度在第 8200 步同时出现明显跳变——这直接印证了”长度上限是纯 RL 涌现长思维链的硬约束”。

R1 第一阶段 RL 的配置与 R1-Zero 基本一致，只有两处关键差异：GRPO 的裁剪比 $\varepsilon$ 被显式设为 10，以及引入了语言一致性奖励。第二阶段 RL 把采样温度降到 0.7（论文说这一阶段更高的温度会导致生成不连贯），总步数 1700 步，其中通用指令数据与偏好奖励只在最后 400 步引入。

裁剪比 $\varepsilon$：一个容易被忽略的关键超参#

R1 论文专门用一句话强调裁剪比的作用：裁剪比较低会导致大量 token 的梯度被截断，从而降低模型性能；较高则可能导致训练不稳定。 而 R1 第一阶段把 $\varepsilon$ 设为 10。

把 10 代进裁剪区间 $[1-\varepsilon,1+\varepsilon]$ 得到 $[-9,11]$。重要性采样比是一个概率之比，恒为非负，所以下界 -9 永远不会被触发；上界 11 意味着只有当当前策略对某个 token 的概率超过采样时策略的 11 倍时才会被截断。换句话说，在这组超参下，裁剪机制实际上几乎不生效，策略更新的幅度基本不受裁剪约束。论文给出的解释方向是”低裁剪值会截断大量 token 的梯度”，配合”每 400 步刷新参考模型”，R1 选择了放开更新幅度、用 KL 项和参考模型刷新来兜住稳定性。这也是一个典型的”论文数字要看上下文”的例子：单独看 $\varepsilon=10$ 会觉得离谱，放进”KL 系数 0.001 + 参考模型周期刷新 + 每组只更新一次”的整体配置里，它的角色就清楚了。

参考模型为什么要周期性刷新#

R1 与 DeepSeekMath 都提到，随着训练进行，初始参考模型会越来越不能反映当前策略的分布。R1 的附录 A.3 说得更直白：在长思维链场景下训练动辄上千步，训练策略可能与初始参考策略差异巨大；为了在”允许探索的范围”和”训练稳定性”之间取得平衡，实际训练中会周期性地把参考模型更新为最新策略。R1-Zero 和 R1 第一阶段都是每 400 步刷新一次。

这个设计有一个容易被误读的后果：KL 项约束的不再是”离初始 SFT 模型有多远”，而是”离 400 步之前的自己有多远”。参考模型变成了一个滑动的锚点，防的是单步之间的剧烈漂移，而不是长期的能力偏移。

组大小 $G$ 怎么选#

$G$ 是 GRPO 独有的超参，它同时决定了三件事：

1. 优势估计的质量。前面算过，基线噪声的惩罚系数是 $\sqrt{1+1/(G-1)}$，从 $G=16$ 到 $G=64$，这个系数从 1.033 降到 1.008，改善非常有限。真正重要的是另一个效应：$G$ 越大，组内奖励越可能覆盖”全对”或”全错”之外的中间状态，优势信号越丰富。
2. 采样成本。每个问题要生成 $G$ 条完整回答，$G=64$ 意味着 64 倍于单条输出的解码开销。R1-Zero 每次 rollout 产出 8192 条输出、切成 16 个 minibatch，可以反推出一个训练步的采样规模是相当大的。
3. 组内奖励的方差。如果 $G$ 太小、任务又太简单（组内全是 1）或太难（组内全是 0），$\mathrm{std}(\mathbf{r})=0$，优势全部退化为 0，这条问题就白采了。这是 GRPO 里一个实打实的工程坑：需要靠难度筛选（论文里的 RL 数据构成就是按难度挑过的）和足够大的 $G$ 来避免。

DeepSeekMath 选 64，R1 选 16。这个差异不是对错问题，而是任务难度分布、单条输出长度、以及推理系统吞吐共同决定的——R1 的输出长度动辄几千 token，$G$ 再翻四倍的采样成本极其可观。

训练模板与规则奖励#

R1-Zero 的提示词模板刻意做得很朴素（论文表 1），大意是：

1
A conversation between User and Assistant. The user asks a question, and the
2
Assistant solves it. The assistant first thinks about the reasoning process in
3
the mind and then provides the user with the answer. The reasoning process and
4
answer are enclosed within <think>...</think> and <answer>...</answer> tags,
5
respectively.
6

7
User: {prompt}. Assistant:

论文强调，模板只约束结构格式，不注入任何内容层面的偏好——不要求反思、不推荐某种解题策略，目的就是干净地观察模型在 RL 过程中的自然演化。这一点是理解后续”aha moment”的前提：如果模板里写了”请检查你的答案”，那自我检查就只是指令跟随，而不是涌现。

奖励同样只有两个来源，都是规则化的：

• 准确性奖励：数学题要求把最终答案写在指定的框里，用规则做字符串匹配；代码题用编译器跑预定义测试用例。对就是对，错就是错。
• 格式奖励：要求把推理过程包在 <think> 与 </think> 之间。两个奖励等权相加。

R1 论文明确说明，他们不使用神经奖励模型，无论基于结果还是基于过程。理由是：神经奖励模型在大规模 RL 中容易 reward hacking，重新训练它需要额外算力，还会让整条管线变复杂。

长度增长与 AIME 曲线#

下面两张图是这篇文章里最重要的两张经验证据。

图源：DeepSeek-R1 技术报告 arXiv:2501.12948v1 图 2。红线为 cons@16（多数投票），蓝线为 pass@1，绿色虚线为 o1-0912 的 pass@1，紫色虚线为其 cons@64。

图源：DeepSeek-R1 技术报告 arXiv:2501.12948v1 图 3。深蓝为平均长度，浅蓝色带为波动范围。

两张图放在一起看，故事就完整了：

• AIME 2024 的 pass@1 从最初的 15.6% 一路涨到 71.0%（v1 数字；v2 修订版把这个数字更新为 77.9%），加上多数投票后 cons@64 达到 86.7%，超过了人类参赛者的平均成绩。
• 平均响应长度从最初的几百 token 单调涨到接近 10000 token，没有任何外部干预在推它变长——没有长度奖励，没有长度惩罚，唯一在变的只是”答对了给分”。
• 长度曲线在训练后期出现明显的锯齿放大，这与”模型开始学会在难题上多花、在简单题上少花”的行为一致。

论文的表述是：R1-Zero 通过延长测试时计算（test-time computation）自然获得了解决更复杂推理任务的能力，计算量从几百 token 扩展到几千 token；随着测试时计算增加，反思（回头重看并重新评估之前的步骤）和探索替代解法这类行为自发出现，它们不是被显式编程进去的，而是模型与 RL 环境交互的结果。

aha moment#

论文表 2 记录了一个中间版本检查点的输出片段，这是整篇报告里传播最广的一段：

1
（前略，模型正在解 sqrt(a - sqrt(a+x)) = x，做完两次平方后得到四次方程）
2
...
3
Wait, wait. Wait. That's an aha moment I can flag here.
4
Let's reevaluate this step-by-step to identify if the correct sum can be ...

论文把这段称为 “aha moment”：模型在一段已经推进下去的推理中途突然停下来，用拟人化的口吻标记”这里有个顿悟点”，然后回头重新检查前面的步骤。论文的评价是：这不仅是模型的顿悟时刻，也是研究者的顿悟时刻，让人看到强化学习的力量与美感——研究者没有教模型怎么解题，只是给了它正确的激励，它自己发展出了高级的解题策略。

论文附录 C.2 给了这个现象一个量化版本：他们统计了一组反思词（wait、mistake、however、but、retry、error、verify、wrong、evaluate、check，由 3 位人类专家选出并合并成词表），发现随着训练推进，反思行为的频次相比训练初期上升了 5 到 7 倍；而更细的观察显示，“wait”这个词在训练早期几乎不出现，4000 到 7000 步之间偶尔使用，8000 步之后出现显著尖峰。也就是说，不同形式的反思是在训练的不同阶段分别学会的，而不是同步出现的。

论文附录 C.1 还按 MATH 数据集的难度分层（1 到 5 级）做了细分：简单题（1 到 3 级）很快达到 0.90 到 0.95 的准确率并保持稳定，4 级题从约 0.78 提升到 0.95，最难的 5 级题从约 0.55 提升到 0.90。真正的收益集中在困难问题上。

纯 RL 的代价：可读性与语言混杂#

R1-Zero 的推理能力很强，但产出很难读。论文列了两个问题：

可读性差。回答里缺少便于阅读的 markdown 格式，答案不突出。更麻烦的是，它不天然使用第一人称——论文在讲冷启动数据构造时提到，R1-Zero 在解题时更倾向用”we”或者干脆回避人称，而 R1 更常用”I”。

语言混杂（language mixing）。这是 R1-Zero 最典型的问题：一条思维链里可能中英文混着写。R1 论文给出了归因——基座模型 DeepSeek-V3-Base 的训练数据以中英文为主，当 RL 提示词涉及多种语言时，CoT 就常常出现语言混杂。论文甚至单独做了一个消融实验（附录 B.6）：在 DeepSeek-R1-Distill-Qwen-7B 上，不加语言一致性奖励时，语言一致性随训练步数逐渐恶化；加上之后能稳定保持。代价是数学基准上表现持平，代码基准上有轻微下降——论文承认这种对齐会带来性能的轻微退化，但它符合人类偏好，让输出更可读。

语言一致性奖励的形式非常朴素，就是目标语言词数占比：

它被直接加到最终奖励上，并且同时应用于推理数据和非推理数据——因为在第二阶段的全场景 RL 里，当提示词涉及多语言时，语言混杂同样会出现。

阶段一：冷启动 SFT#

动机很直接：从基座模型直接做 RL，早期会有一段不稳定的冷启动期。R1 用一小批长思维链数据做微调，把它作为 RL 的初始 actor。论文也点出了这次冷启动的两个收益：可读性（设计了统一的输出格式，并在每条回答末尾附上总结，同时过滤掉不适合阅读的样本）和潜力（用带人类先验的冷启动数据后，表现优于 R1-Zero，论文认为迭代训练是更好的路径）。

冷启动数据是这样造出来的（附录 B.3.2）：先让人类标注者把推理轨迹改写成更自然、更口语的对话风格；再用改写后的数据作为示例，提示一个大模型批量重写更多数据；所有模型生成的输出再经过第二轮人工验证以保证质量与一致性。论文给出的输出格式是 |special_token|<reasoning_process>|special_token|<summary>，其中 reasoning_process 是思维链，summary 用来总结推理结果。

这里有一段值得完整引述的自我限定。论文说，冷启动数据的动机主要是产品驱动的，重点是提升用户体验：用户会觉得推理过程符合第一人称思考模式时更直观、更有代入感；而对于 R1-Zero 那种要么用”we”要么不用人称的风格，论文承认这类生动的推理模式主要反映的是 DeepSeek 设计的启发式，不代表模型真的获得了类人的智能或自主解题能力。

阶段二：面向推理的 RL#

冷启动微调之后，R1 复用与 R1-Zero 完全相同的大规模 RL 流程，目标是把推理能力继续做深，集中在代码、数学、科学、逻辑这类”问题定义清晰、答案可判定”的任务上。这一阶段的奖励是规则奖励加上语言一致性奖励，两者直接相加。

结果从检查点能看出来：R1-Dev1 在 IF-Eval 上从 R1-Zero 的 46.6 跳到 71.7，ArenaHard 从 53.6 跳到 77.0，可读性和指令跟随明显改善。但代价也很实在——由于冷启动数据集规模有限，Dev1 的推理性能相比 R1-Zero 出现了局部回退，AIME 2024 从 77.9 掉到 59.0。随后面向推理的 RL 才把这个能力重新拉回来并推得更高：Dev2 的 AIME 回到 74.0，Codeforces 从 R1-Zero 的 1444 分（80.4 百分位）涨到 1687 分（90.5 百分位），LiveCodeBench 从 50.0 涨到 63.5。

这条”先降后升”的曲线是四阶段管线里最反直觉的一段，也是最值得记住的一课：用人类风格的数据约束输出形式，会暂时损伤推理性能，需要靠后续 RL 重新赚回来。 论文的数据表明这笔账最终是划算的，但它不是免费的。

阶段三：拒绝采样与监督微调#

当面向推理的 RL 收敛之后，用得到的检查点做拒绝采样，构造下一轮 SFT 数据。这一阶段的数据配比很关键：

推理数据（约 600k）：从上一阶段 RL 的检查点做拒绝采样生成推理轨迹。这里有两个扩展：一是前一阶段只纳入能用规则奖励评估的数据，这一阶段引入了额外的数据，其中一部分用生成式奖励模型——把标准答案和模型预测一起喂给 DeepSeek-V3 让它判断对错；二是做了可读性过滤，把中英混杂的思维链、超长段落、以及含有代码块的思维链过滤掉。对每个提示采样多条回答，只保留正确的。

非推理数据（约 200k）：写作、事实问答、自我认知、翻译等，直接复用 DeepSeek-V3 的 SFT 数据集；同时加入了软件工程相关数据，包括程序修复和前端网页开发。对于某些非推理任务，会先让 DeepSeek-V3 生成一段潜在的思维链再作答；但对”hello”这类简单查询不提供思维链。

两部分合起来约 800k 条样本，对 DeepSeek-V3-Base 微调 2 个 epoch。附录 B.3.3 给出了完整的数据统计：

这张表里藏着一个容易被忽略的事实：数学与代码两类加起来占了全部样本的 75%，平均长度超过 6000 token，而通用领域样本的平均长度只有 1420 token。 这解释了为什么 R1 在推理基准上表现极强、而在通用任务上只是”够用”。论文也提醒，数据集里绝大部分是单轮交互，这会限制多轮对话能力。

对 800k 数据做 SFT 的超参是：学习率从 $5\times10^{-5}$ 余弦衰减到 $5\times10^{-6}$，最大上下文 32768 token，batch size 128，训练 2 到 3 个 epoch。

Dev3 检查点的数字印证了这一阶段的作用：AlpacaEval 2.0 从 Dev2 的 55.8 跳到 62.1，Aider-Polyglot 从 25.6 跳到 44.8，同时推理能力基本保持（AIME 78.1、MATH-500 95.4）。

阶段四：全场景 RL#

最后一个阶段是把模型拉回人类偏好上：既要提升有用性和无害性，又不能让推理能力退化。做法是混合奖励信号与混合提示词分布。

推理数据沿用 R1-Zero 的规则奖励体系（数学、代码、逻辑）。通用数据则引入两个奖励模型：

• 有用性奖励模型：用竞技场式的成对比较数据训练。构造偏好对时，每个 pair 让 DeepSeek-V3 判 4 次、随机交换 A/B 位置以抵消位置偏差，取 4 次判断的平均作为最终分数，只保留分差大于 1 的 pair；同时控制被选与拒绝两条回答的长度可比，以减少长度偏差。最终得到 66000 条偏好对。它的架构与 R1 一致，只是加了一个预测标量偏好分的奖励头。训练 1 个 epoch，batch 256，学习率 $6\times10^{-6}$，最大序列长度 8192。
• 安全性奖励模型：106000 条带”安全/不安全”标注的提示词，用逐点（point-wise）而非成对的方式训练，区分安全与不安全回答，其余超参与有用性奖励模型相同。

最终的奖励是三项相加：

其中 reasoning 项就是规则奖励，general 项是奖励模型分加上格式奖励。这一阶段总步数 1700 步，通用指令数据与偏好奖励只在最后 400 步引入，采样温度降到 0.7（论文发现更高温度在这一阶段会导致生成不连贯）。论文明确写了后半句原因：如果带着基于模型的偏好奖励信号训练更多步，就会出现 reward hacking。

失败模式：奖励 hacking 出现的时刻#

R1 论文附录 B.5 记录了这件事的具体形态：在使用有用性奖励模型时，如果奖励模型本身含系统性偏差或不准确，模型会学会生成”被奖励模型打高分、但偏离真实人类偏好”的回答。这种错配的表现是复杂推理任务上的性能退化——论文给出的证据是，训练过程中奖励值持续上升，而 Codeforces 上的表现却在下降。

这就是为什么阶段四被卡在 1700 步、通用数据只在最后 400 步引入。也解释了 R1 论文在结论部分的一段判断：纯 RL 的成功依赖可靠的奖励信号，在推理域可以用规则奖励保证，但在写作这类任务上很难构造出同样可靠的奖励模型；一旦奖励由模型而非规则给出，它就更随训练推进而被钻空子。论文的应对是——对拿不到可靠信号的任务，用人工标注构造监督数据，并且只做几百步 RL。

四个阶段的总览数字#

把各检查点的关键指标放在一起（R1 论文表 3 与表 8）：

读这张表有几个要点：

• IF-Eval 和 ArenaHard 的大跳跃发生在 Dev1，那是冷启动 SFT 的功劳。
• AIME 与 GPQA 在 Dev1 明显回退，Dev2 才恢复并超越，那是面向推理 RL 的功劳。
• AlpacaEval 2.0 在 Dev3 大幅提升（62.1），那是 200k 非推理数据的功劳；而最终从 62.1 到 87.6 的跃升发生在阶段四，那是全场景 RL 的功劳。论文对这一阶段的总结是：代码与数学基准只有边际改善——因为大量推理相关的 RL 已经在前面几个阶段做完了——最终 R1 的主要进步集中在通用指令跟随与用户偏好基准上。
• GPQA Diamond 从 R1-Zero 的 75.8 一路跌到 R1 的 71.5，这是个值得注意的反例：安全与偏好对齐确实带来了一些代价。

蒸馏数据与训练细节#

基础模型与初始学习率的对应关系（论文表 6）：

训练超参：用 800k 数据微调 2 到 3 个 epoch，余弦衰减到初始学习率的十分之一，最大上下文长度 32768 token，batch size 64。论文特意选了 Llama-3.3 而不是 Llama-3.1 的 70B，因为它的推理能力略好。

有一点必须强调：这些蒸馏模型只做了 SFT，没有做任何 RL 阶段。论文说得很清楚——加上 RL 本可以进一步提升性能，但这里的主要目的是展示蒸馏本身的效果，RL 的部分留给社区去探索。

各尺寸的结果#

论文从这张表里读出的结论有三条：1.5B 的蒸馏模型在 AIME 上拿到 28.9%、MATH-500 上拿到 83.9%，已经全面超过 GPT-4o 和 Claude-3.5-Sonnet；14B 的模型在所有评测指标上超过 QwQ-32B-Preview——用一个不到一半参数量的模型；32B 和 70B 的版本在大多数基准上显著超过 o1-mini。

一个特别值得注意的对比是 1.5B 与 32B 的 cons@64：1.5B 的 pass@1 只有 28.9%，但 cons@64 冲到 52.7%；32B 是 72.6% 对 83.3%。这说明蒸馏学到的不仅是”答对”，还有”长思维链 + 多数投票”这套测试时计算的用法——小模型也学会了写完长链再聚合。

蒸馏 vs 直接对 小模型做 RL#

这是 R1 论文里最有分量的一个对照实验。问题很直接：不蒸馏，直接按 R1 的方法对小模型做大规模 RL，能追平蒸馏吗？

论文在 Qwen2.5-32B-Base 上做了超过 10000 步的大规模 RL，用数学、代码、STEM 数据训练，得到 Qwen2.5-32B-Zero，然后三方对比：

论文的结论有两条：

第一，把更强的模型蒸馏到小模型上效果极好，而小模型自己靠大规模 RL 需要极大的算力，甚至可能达不到蒸馏的效果。 32B 的纯 RL 模型只能和 QwQ-32B-Preview 打平，而蒸馏版本在所有基准上大幅领先。

第二，蒸馏既经济又有效，但想突破智能的边界，仍然需要更强的基座模型和更大规模的强化学习。

论文还给了一个控制变量更严的实验来支撑”纯 RL 确实能提升推理”，用的是 2024 年 8 月发布的 Qwen2-Math-7B——它早于 2024 年 9 月的 o1，可以确保基座模型没有接触过任何推理轨迹数据。他们训练了约 10000 步策略梯度更新，得到 Qwen2-Math-7B-Zero：AIME 2024 平均分 22.3%、AIME 2025 平均分 18.1%，而同源的 Qwen2-Math-7B-Instruct 只有 7.9% 和 4.6%，GPT-4o-0513 在 AIME 2024 上是 9.3%。纯 RL 确实从零拉起了推理能力，只是拉起的幅度远不如”蒸馏一个更强的模型”。

论文附录 G.1 还记录了一条失败经验，很有参考价值：早期他们用 7B 稠密模型和 16B MoE 模型作为 RL 的基座，在 AIME 上始终无法获得有意义的提升——随着响应长度增加，这些小模型表现出重复倾向，无法有效利用长思维链来提升准确率。换成 32B 稠密、230B MoE、671B MoE 之后才观察到显著收益。论文的结论是：从基座做 RL 的效果高度依赖模型容量。 这一条与前面”蒸馏 vs RL”的结论互为印证：小模型的瓶颈不在训练算法，在容量本身。