RoPE 完全拆解：旋转位置编码的原理、实现与长度外推

目标函数：内积只依赖相对位置#

先放下具体形式，想想我们希望位置编码满足什么条件。设 $f_q(x_m, m)$ 是把位置 $m$ 编码进 query 向量的函数（$x_m$ 是第 $m$ 个 token 的向量），$f_k(x_n, n)$ 同理。注意力得分的核心是内积 $\langle f_q(x_m, m), f_k(x_n, n) \rangle$。我们希望这个内积只依赖相对位置 $m-n$，而不依赖 $m$、$n$ 各自是多少，即存在某个函数 $g$ 使得：

翻译成人话：无论第 5 个 token 和第 9 个 token，还是第 1005 个和第 1009 个 token，只要相对距离都是 4，注意力得分就应该一样（平移不变性）。这是 RoPE 全部设计的出发点。

二维情形：完整的求解过程#

论文先考虑最简单的 $d=2$ 情形，用复数把二维向量看作平面上的点。这一步值得完整走一遍，因为它揭示了”为什么答案必须是旋转”。

把二维向量 $(a, b)$ 写成复数 $a + bi$。两个二维向量的内积等于复数乘积的实部：

其中 $k^*$ 是 $k$ 的共轭复数（实部不变、虚部取负）。再假设 $f_q(x_m, m)$ 可以写成极坐标形式 $R_q(x_m, m) e^{i\Theta_q(x_m, m)}$，其中 $R_q$ 是模长、$\Theta_q$ 是幅角，$f_k$ 同理。把它们代进目标等式，注意到位置 $m = n$ 时两个 token 位置相同，应有 $g(x_m, x_m, 0) = \|q\|\|k\|$（此时退化成普通内积），可以得到两条关键结论：

第一，模长与位置无关。 对比两边模长：

当 $m = n$ 时右边是 $R_g(x_m, x_n, 0) = \|q\| \|k\|$，与 $m$ 无关；要让两边恒等，只能让 $R_q$、$R_k$ 与位置无关，即模长不变。直观上也说得通：位置编码不该改变”这个 token 内容有多大”，只该改变”它的朝向”。

第二，幅角按等差增长。 对比两边幅角，令 $m = n$ 得幅角差与内容无关、只与位置有关。记公共的幅角函数为 $\Theta_f(x, m)$，则对任意 token $x$ 有

其中 $\theta_x$ 是 token 自身方向（$m=0$ 时的幅角）。再把 $n = m+1$ 代入，可以得到 $\phi(m+1) - \phi(m)$ 是与 $m$ 无关的常数——换句话说，每前进一个位置，幅角转过的角度恒定，所以 $\phi(m)$ 必须是等差序列：

取 $\gamma = 0$，并记 $q = f_q(x_m, 0) = W_q x_m$、$k = f_k(x_n, 0) = W_k x_n$（$W_q, W_k$ 是 query/key 投影矩阵，位置 0 时函数退化为普通投影），就得到最终的答案：

其中 $\theta \in \mathbb{R}$ 是预设的非零常数。写成矩阵形式，复数乘法 $e^{im\theta}$ 就是二维平面上的旋转矩阵：

“旋转”这个名字的由来就在这里：给向量乘上 $e^{im\theta}$，就是把它在平面上逆时针旋转 $m\theta$ 弧度。位置 $m$ 越大，转过的角度越多。

论文里的图 1 直观展示了这个过程——左边是原始 query/key 向量 $(x_1, x_2)$，右边是旋转 $m\theta_1$ 之后的位置编码向量：

（图源：RoFormer 论文 Figure 1。图中 $\theta_1$ 是第一个频率，$m\theta_1$ 是位置 $m$ 对应的旋转角，位置 1、2、5 等分别转过不同角度。）

为什么内积自动变成相对位置#

现在把 $f_q$、$f_k$ 代入内积，关键的一步来了——两个旋转矩阵相乘，角度直接相减：

最后一步用到了旋转矩阵的两个性质：$R_m^\top = R_{-m}$（转置等于逆，因为旋转矩阵是正交矩阵），以及 $R_{-m} R_n = R_{n-m}$（旋转可以叠加）。于是位置信息在注意力得分里只剩下 $n - m$ 一个量，两个 token 相隔 5 步还是相隔 500 步，取决于旋转角之差，而不是各自的位置。这正是上一节目标等式要求的形式。

这个推导值得停下来体会一下：整个过程没有”设计”编码公式，而是先写下”内积只依赖相对位置”这个需求，然后通过复数运算一步步逼出了唯一合理的解——旋转。苏剑林在博客里总结为”通过绝对位置编码的方式实现相对位置编码”，一句话点破了它的双重身份。

数学上”稀疏矩阵乘法”，工程上”逐元素乘加”#

直接拿分块对角矩阵 $R_{\Theta,m}^d$ 去乘向量是浪费的——矩阵里几乎全是零。论文给出的高效实现把旋转写成逐元素运算。对第 $i$ 对维度 $(x_{2i}, x_{2i+1})$（这里用 0 起始下标）：

整个向量上就是：

其中 $\text{rotate\_half}$ 交换配对维度并给其中一个取负号。全部计算只有乘法和加法，没有矩阵乘法——两个长度为 $d$ 的向量逐元素乘，总共 $O(d)$ 次运算。

两种布局约定：interleaved 与 split-half#

“哪两个维度配成一对”有两种约定，这是阅读各种开源实现时最容易踩的坑：

两种约定数学上完全等价（都是同样的旋转，只是坐标顺序不同），但频率 $\theta_i$ 的对应关系不同。split-half 的实现里，rotate_half 操作是”把后半部分取负后接到前半部分后面”：

1
def rotate_half(x):
2
    """split-half 约定下的配对旋转：交换两半并给后半取负。"""
3
    x1 = x[..., : x.shape[-1] // 2]      # 前半
4
    x2 = x[..., x.shape[-1] // 2 :]      # 后半
5
    return torch.cat([-x2, x1], dim=-1)
6

7
def apply_rotary_pos_emb(x, cos, sin):
8
    return x * cos + rotate_half(x) * sin

而 interleaved 约定下最自然的写法是直接把相邻对当复数乘：

1
def apply_rotary_pos_emb_interleaved(x, cos, sin):
2
    # x: [..., d] 视为 [..., d/2, 2]，用 view_as_complex 转成复数
3
    x_complex = torch.view_as_complex(x.reshape(*x.shape[:-1], -1, 2))
4
    # freqs_cis[m] = cos(mθ) + i·sin(mθ)，预计算好的一张复数表
5
    out = x_complex * freqs_cis
6
    return torch.view_as_real(out).flatten(-2)

实际推理框架里几乎都预计算好 $\cos$、$\sin$ 表：对每个位置 $m$ 和每个频率 $\theta_i$，预先算出 $\cos m\theta_i$ 和 $\sin m\theta_i$，存成形状为 [max_seq_len, d/2] 的常量张量（复数版就是 freqs_cis），推理时只做查表 + 乘加。生成过程中序列长度逐步增长，但每个 token 的旋转角在它生成那一刻就固定了，之前算过的位置无需重算。

推理侧：decode 时的位置、KV cache 与融合 kernel#

在自回归解码中，RoPE 的具体行为值得单独理一遍：

1. Prefill 阶段：对整段 prompt 的每个 token 施加各自的位置旋转，然后算注意力。此时位置 0 到 $L-1$ 的 $\cos/\sin$ 表都要用到。
2. Decode 阶段：每次只生成 1 个新 token，它位于位置 $m =$ 当前序列长度。只需要对这一个 token 查一次表、做一次旋转；已有的 KV 全部不用动（它们的旋转角在写入时就固定了）。
3. KV cache：K 旋转之后再写入缓存（因为注意力需要的是旋转后的 K），V 原样写入。KV cache 里存的是”已带位置信息”的 K——这也是为什么 KV cache 无法在请求间复用长度不同的前缀，位置信息已经烧进 K 里了（关于这一点，跨模型 KV 转移里有更深入的讨论）。
4. 融合 kernel：现代推理框架不会单独跑一次 RoPE 再算注意力。vLLM 的 PagedAttention 系列 kernel 和 FlashAttention 的 rotary embedding 接口都把旋转融合进注意力 kernel 内部：加载 K 块时顺带完成旋转，省掉一次额外的显存读写。对带宽敏感的解码阶段，省这一次全量 K 的读写就是几个百分点的吞吐。
5. 矩阵吸收：在 MLA 这类低秩注意力里，RoPE 因为打破矩阵乘法的结合律（旋转依赖位置、不能吸收进 $W_q$），必须”解耦”出来单独作用，代价是增加一点 KV cache 占用——MLA 完全拆解里讲过这个设计权衡。

Position Interpolation：把尺子压扁#

PI（Position Interpolation，Chen et al., Meta AI, 2023）的思路最直白：训练时模型只见过 4k 个位置，那就把 32k 的序列”压缩”回 4k 的范围内。做法是把位置索引除以缩放因子 $s = L'/L$：

以 4k → 32k 为例，$s = 8$，原本位置 0, 1, 2, …, 32767 变成 0, 0.125, 0.25, …, 4095.875。等价的说法是：把原始频率全部除以 8，让”尺子的刻度变密”，用原来的角度范围覆盖更长的距离。

PI 有扎实的理论支撑：论文证明了插值后的注意力得分上界比直接外推小约 600 倍（外推时高频维度的内积可以无界增长，插值时所有角度都被限制在训练范围内），因此微调更稳定。实验上，LLaMA 7B–65B 只需约 1000 步微调就能扩展到 32k，且 32k 内保持质量。

但 PI 的代价也很明显：局部分辨率损失。缩放 $s=8$ 后，相邻两个 token 的位置差从 1 变成 0.125，高频维度上”相邻 token 旋转角差”被压缩，模型区分紧邻 token 的能力下降——这正是 YaRN 论文指出的”PI 丢失高频信息”问题，缩放倍数越大越严重。

NTK-aware：改 base，而不是改位置#

NTK-aware（bloc97, 2023，名字借自神经正切核理论）换了个角度：不改位置索引，改频率序列的 base。把 base 从 $b$ 提高到

几何级数频率 $b^{-2i/d}$ 被整体”拉伸”。拉伸的效果对每个维度不是均匀的：高频维度（$i$ 小，指数接近 0）几乎不动，保留了对相邻位置的精细分辨；低频维度（$i$ 接近 $d/2$，指数接近 −1）被显著压低，旋转周期变长、能覆盖更远的距离。

比起 PI，NTK-aware 最大的优点是零微调即可用：直接把 base 换成新的值，模型在 4k 内的行为几乎不变，同时能把序列推远好几倍。它的局限在于：用单一标量 $s$ 缩放所有维度，缺少针对”哪些维度该插值、哪些该外推”的精细控制；而且最优 base 要靠经验试出来，训练/推理的 scale 必须固定。

YaRN：按波长分工 + 温度补偿#

YaRN（Peng et al., 2023，Nous Research + EleutherAI）把上面的分析推到极致，核心判断是：不同波长的维度应该区别对待——波长远小于训练上下文长度的维度（高频，负责局部）应该保持原样、继续外推；波长大于或接近上下文长度的维度（低频，负责远程）应该插值、压回训练范围；中间地带平滑过渡。

定义每个维度的”旋转圈数”比值 $r(d) = L/\lambda_d$（$L$ 是训练上下文长度，$\lambda_d$ 是该维度波长），即”在这个维度上，训练长度的序列一共转过多少圈”。引入两个阈值 $\alpha$、$\beta$（LLaMA 家族的经验值是 $\alpha=1$、$\beta=32$），用斜坡函数 $\gamma(r)$ 决定每个维度插值多少：

然后逐维度混合”插值后的频率”和”原始频率”：

$r < \alpha$ 的维度（转了超过 $\beta$ 圈……这里注意方向：$r$ 大说明波长短、转的圈数多）完全外推（$\gamma=1$，用原始 $\theta_i$），$r > \beta$ 的维度完全插值（$\gamma=0$，用 $\theta_i/s$）。这就是 “NTK-by-parts”（按部分处理）的含义。

YaRN 的第二招是注意力温度缩放。直觉是：序列变长后，平均来看每个 query 面对的”近距离 token 密度”下降，softmax 的分布熵变大，模型学到的最佳注意力锐度不再匹配。补偿方式是给注意力得分乘一个温度 $t$：

LLaMA/Llama 2 上拟合出的经验公式是 $\sqrt{1/t} = 0.1\ln(s) + 1$（$s$ 为缩放倍数）。工程上的巧妙之处在于：温度可以乘进预计算的复数旋转嵌入里（“长度缩放”技巧），不需要改任何注意力代码，推理和训练零额外开销。

实验上，YaRN 只需 400 步、约 1 亿 token（预训练数据的 0.1%） 微调，就能把 Llama 2 7B/13B 从 4k 扩展到 64k，再外推到 128k——训练量比 PI 少约 10 倍，步数少 2.5 倍。下图是 YaRN 论文中固定 $s=8$ 时各缩放方法在 896 篇 16k token 文档上的困惑度对比：

（图源：YaRN 论文 Figure 4。横轴是评估用的上下文长度，纵轴是困惑度；YaRN 在短程和长程都保持更低、更平坦的困惑度曲线，而 PI 在超长距离上明显退化。）

论文还给出了扩展到 128k 后、10 篇 128k 长文档上的滑窗困惑度（窗口 256）数据：

（数据来源：YaRN 论文 Table 1。注意 $s=16$ 的模型只用 64k 上下文训练，在 128k 上困惑度直接崩到 >101；$s=32$ 的模型虽然也只训练了 64k 数据，却成功外推到了 128k——这正是”低频频段外推 + 高频频段插值”设计的直接收益。）

Dynamic NTK 与动态缩放#

上面所有方法都有一个隐含假设：缩放因子 $s$ 在整个推理过程中固定。但自回归解码中序列长度逐 token 增长，固定 $s$ 意味着”短的序列也被按最终长度缩放”，浪费了短序列上本可保留的原始分辨率。

Dynamic NTK（emozilla, 2023，后来也被引入 YaRN）的做法是每个 forward pass 按当前序列长度动态重算缩放因子：$s = \max(1, l'/L)$，其中 $l'$ 是当前序列长度。序列从 1 长到 128k，缩放因子从 1 平滑涨到 32，每个瞬间模型看到的都是”恰好匹配当前长度”的频率配置。这是纯推理侧、零微调的实用方案——HuggingFace transformers 的 rope_scaling: {"type": "dynamic"}、llama.cpp 的 --rope-scaling 选项都内置支持，代价是序列长度跨过训练长度时需重算一次频率表（摊销后开销可忽略，因为频率表是预计算的）。

下图对比了不缩放（RoPE 直接外推）、Dynamic-PI、Dynamic-YaRN 在 Llama 2 长文档上的表现——不缩放的模型随距离增长迅速崩溃，动态方案则维持稳定：

（图源：YaRN 论文 Figure 8。横轴是文档中的 token 距离，纵轴是滑窗困惑度或相对困惑度变化；直接外推的 RoPE 在超出训练范围后困惑度急剧上升，两种动态方法保持平稳。）

生产模型里 RoPE 的配置一览#

把上面这些方法放到真实模型里对照，能清楚地看到各家怎么选：

• LLaMA 1 / LLaMA 2 / Mistral：base 10000，训练 4k；LLaMA 2 后续用 PI 微调出 32k 版本，Mistral 靠 4k 训练 + 滑窗注意力凑出 32k 的”有效窗口”。
• LLaMA 3：直接把 base 提高到 500000（官方实现的 precompute_freqs_cis），预训练 8k，再经长上下文微调支持 128k（Llama 3 Herd of Models）。base 500000 意味着低频维度波长长达 $2\pi \times 5\times 10^5 \approx 314$ 万 token——模型从一开始就”准备好”了远程分辨能力，这是新一代模型原生长上下文的秘诀之一。
• Qwen 系列：动态 NTK（zero-shot 外推，配合少量长文本微调）。
• DeepSeek-V3：4k 预训练长度 + YaRN 缩放到 128k（技术报告里明确采用的方案）。

在推理框架里，这些配置通过 rope_scaling 参数暴露：HuggingFace transformers 支持 {"type": "linear", "factor": 16.0}（PI）、{"type": "dynamic"}（动态 NTK）与 {"type": "yarn", "factor": ...}；vLLM、SGLang、llama.cpp 都能直接读取这份配置并在 kernel 里生效。对推理而言，缩放因子只影响预计算的 $\cos/\sin$ 表，不增加任何每 token 的额外开销——这也是 RoPE 系方案在工程上最大的优势：外推能力可以免费叠加在已有模型上。