特征值与特征向量：矩阵的谱、几何直觉与 LLM 推理中的身影

背景：线性代数里最「抽象」的一章#

你学过的线性代数里，矩阵乘法、行列式、逆矩阵都有一套清晰的操作流程：会算就行。但特征值（eigenvalue）和特征向量（eigenvector）不一样——它不是又一个”会算”的运算，而是对”矩阵到底是什么”的一次追问。课程里它常被教成”解一个多项式方程”的机械步骤，导致很多人在学完线代之后，对特征值仍然只有”求 det(A−λI)=0”这一个印象，完全不知道它为什么是线性代数里最重要的概念。

这份”没学透”的代价，会在你读推理优化的论文时反复冒出来。举几个你已经遇到过的例子：

• RoPE 旋转位置编码用二维旋转矩阵给位置编码，为什么旋转一定跟 $\cos$、$\sin$ 绑在一起？为什么最小旋转块必须是 $2 \times 2$？
• 条件数 $\kappa = \sigma_{\max}/\sigma_{\min}$ 在上一篇《数值线性代数（一）》里用来度量误差放大倍数，它跟特征值有什么关系？
• MLA 低秩压缩（见《MLA 完全拆解》）凭什么能用一个小矩阵近似 KV 缓存？“近似得多好”由什么决定？
• 奇异值到底在衡量矩阵的什么特性？为什么说奇异值快速衰减的矩阵”可压缩”？

这四个问题背后是同一个数学对象。这篇文章把特征值从零讲透：先是几何直觉（矩阵 = 线性变换，特征向量 = 不变的方向），再是计算（特征多项式与对角化），然后是对称矩阵的谱定理——这是通往奇异值、二次型、条件数的枢纽，最后落到你方向上的具体技术（RoPE、MLA、SVD-LLM 量化、Mamba）。

矩阵 = 线性变换：先补齐几何视角#

你的数学档案里记着一条：线代课程理解停留在代数运算层面，缺线性变换的几何视角。上一篇《数值线性代数（一）》已经补过一次：矩阵就是一个把向量送到另一个向量的线性变换，几何效果只有五种基本形态——拉伸、压缩、旋转、反射、剪切。这里不再重复那张图，直接复用它的结论：$A$ 作用于向量 $x$，本质是对 $x$ 做一次”变形”。

现在做一个小小的思想实验，它直接引出特征值。考虑对角矩阵

它把 $x$ 轴的向量拉伸 2 倍，把 $y$ 轴的向量压缩到 $1/3$。注意这个矩阵对不同方向的向量做了不同的事：沿 $x$ 轴方向的向量 $(1, 0)^T$ 被拉长，沿 $y$ 轴方向的 $(0, 1)^T$ 被压扁，而沿方向 $(1, 1)^T$ 的向量被”斜着拉”——既有 $x$ 分量倍增，又有 $y$ 分量缩减，方向发生了改变。

于是自然产生一个问题：哪些方向的向量，经过 $A$ 之后方向不变（最多被拉长/缩短）？ 对上面的对角矩阵，答案是 $x$ 轴和 $y$ 轴两个方向。而一个一般的矩阵，比如把平面整体旋转 30° 的矩阵，答案是：没有——每个向量都被转走了方向。

“找不变的方向”就是特征值问题的全部内容。为什么这个问题如此重要？因为不变方向是理解一个变换的”骨架”：只要你把注意力放在这些方向上，复杂的变形就退化成了简单的”乘一个数”。人类分析任何反复迭代、长期演化的系统（人口增长、网页排名、扩散、动力系统），最终都要靠找出这些不变方向。

特征值与特征向量：不变的方向#

旋转矩阵与复数特征值：RoPE 的数学根源#

现在看本文开头的问题：旋转矩阵的特征值是什么？考虑二维旋转矩阵（逆时针转 $\theta$ 角）：

$$R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}$$

它的特征多项式：

$$\det(R(\theta) - \lambda I) = (\cos\theta - \lambda)^2 + \sin^2\theta = \lambda^2 - 2\cos\theta \cdot \lambda + 1$$

判别式 $\Delta = 4\cos^2\theta - 4 = -4\sin^2\theta$。只要 $\theta$ 不是 $0$ 或 $\pi$，判别式就是负数——在实数范围内没有解。也就是说：旋转矩阵没有实特征值，没有哪个向量方向保持不变。这完全符合直觉：旋转就是转，当然没有不变方向。

但特征多项式作为实系数二次方程，在复数范围内必有解：

$$\lambda = \cos\theta \pm i\sin\theta = e^{\pm i\theta}$$

两个特征值是模长为 1 的复数（单位圆上的点），且互为共轭。这条线索链接着几个重要事实：

1. 实矩阵的复特征值必成共轭对出现。原因在代数层面：实系数多项式的复根成对共轭（如果 $z$ 是根，$\bar z$ 也是）。
2. 旋转不改变向量长度：$|\lambda| = |e^{i\theta}| = 1$，所以旋转矩阵的谱范数（最大奇异值）也是 1——这与”正交矩阵不放大误差”（上一篇讲 L2 范数时提到的酉不变性）互为印证。
3. 复数成对出现决定了最小旋转块是 $2 \times 2$：一个实数 $1 \times 1$ 的”旋转”只能乘 $\pm 1$（转 $0°$ 或 $180°$），要想表达”转任意角度”，最少需要把两个共轭特征值装进一个 $2 \times 2$ 实矩阵里。

第三点直接对应 RoPE（Rotary Position Embedding，旋转位置编码）。苏剑林等人在 2021 年的论文 RoFormer: Enhanced Transformer with Rotary Position Embedding（arXiv:2104.09864）中，把位置信息编码成块对角旋转矩阵：第 $m$ 个 token 的查询向量 $q_m$ 被旋转 $m\theta_1, m\theta_2, \dots$ 多个角度（不同频率 $\theta_i$ 对应不同维度对），$k_n$ 被旋转 $n\theta_i$，然后做点积。旋转不变的几何性质（内积在共同旋转下不变）使得 $q_m \cdot k_n$ 自动只依赖相对位置 $m - n$——这正是 RoPE 名字里 “Rotary” 的来源，也是为什么 RoPE 的维度要两两一组：每一组就是一个 $2 \times 2$ 旋转块，承载一对共轭复特征值 $e^{\pm im\theta_i}$。下图是 RoPE 论文的 Figure 1，画的就是查询/键向量被旋转后，点积只与相对角度有关的几何：

本站《答疑特辑：秩与 SVD、RoPE 旋转矩阵…》已经从正交矩阵角度讲过 RoPE 的旋转，这里补上的是它的特征值视角：RoPE 每个旋转块的特征值是单位圆上的复数 $e^{\pm im\theta_i}$，模长为 1，所以位置旋转永不改变向量的模——位置编码因此不会干扰注意力分数的量级（注意力分数的方差由 $\sqrt{d}$ 缩放控制，与位置无关）。如果你今后看到”RoPE 的频谱”这类说法，指的就是这些复数特征值在单位圆上的分布。

对角化：换一个坐标系，矩阵就变简单#

特征向量最强大的用途是换基。假设 $n \times n$ 矩阵 $A$ 有 $n$ 个线性无关的特征向量 $v_1, \dots, v_n$（对应特征值 $\lambda_1, \dots, \lambda_n$）。把它们排成矩阵 $P = (v_1 \ \cdots \ v_n)$，注意 $Av_i = \lambda_i v_i$，所以

其中 $\Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n)$ 是对角矩阵。$P$ 可逆（列线性无关），于是

这个过程叫对角化（diagonalization）。几何含义非常清晰：$P^{-1}$ 把坐标从标准基换成”特征基”，在特征基下 $A$ 的作用就是沿每个轴单独拉伸 $\lambda_i$ 倍，再换回标准基。一个复杂的线性变换，在恰当坐标系里就是”逐轴缩放”——这就是特征向量作为”变换骨架”的意义。

对角化的第一个直接好处是幂运算：因为 $A^2 = P\Lambda P^{-1} P \Lambda P^{-1} = P\Lambda^2 P^{-1}$，归纳得

矩阵的幂变成对角矩阵的标量幂。这解释了一类现象：一个系统反复施加 $A$ 之后，行为由特征值的模长决定——$|\lambda_i| > 1$ 的方向指数增长，$|\lambda_i| < 1$ 的方向指数衰减，$|\lambda_i| = 1$ 的方向保持不变。后面讲幂迭代收敛时这个观察会直接复用。

更一般地，任何能写成幂级数的函数都能”作用”在矩阵上：

即 $f(A)$ 的特征值就是 $f(\lambda_i)$。最重要的一例是矩阵指数 $e^{A} = \sum_k A^k / k!$：常微分方程组 $\frac{d}{dt}x(t) = Ax(t)$ 的解是 $x(t) = e^{At}x_0$，而对角化之后每个分量独立演化 $e^{\lambda_i t}$——耦合系统被解耦成独立通道。

这条性质直接通向状态空间模型（SSM）：Mamba 论文（Gu 与 Dao 等人，2023，Mamba: Linear-Time Sequence Modeling with Selective State Spaces）里的连续系统 $\dot h(t) = Ah(t) + Bx(t)$ 经零阶保持离散化后得到

S4/Mamba 的关键设计之一就是把 $\bar A$ 取为（复）对角矩阵。回想对角化的意义：这等于让状态空间的各个通道彻底解耦，每个通道变成独立的标量递归 $h_t^{(i)} = \bar a_{ii} h_{t-1}^{(i)} + \dots$，而标量递归可以沿序列维做并行前缀和（parallel scan）——这正是这类架构在 GPU 上能高效并行推理的数学根源之一（对比注意力需要一次性看到整段 KV）。一个”换坐标使矩阵变简单”的绝佳例证。

不是所有矩阵都能对角化。条件是”$n$ 个线性无关的特征向量”，缺失时矩阵只能化成 Jordan 标准形。典型反例是剪切矩阵：

特征值只有 $\lambda = 1$（二重），但 $(S - I)v = 0$ 解出的特征向量只有 $(1, 0)^T$ 这一个方向——几何上，剪切把 $y$ 轴”铲”到一边，只有一个方向不动。特征值的代数重数（特征多项式中的重数，这里是 2）与几何重数（对应特征空间的维数，这里是 1）不相等，就不存在足够多的特征向量。这类”退化”矩阵在推理技术里最著名的例子是 RoPE 旋转块退化到 $\theta = 0$ 的情况（对应频率为 0 的维度），不过那是另一个话题。

对称矩阵：谱定理#

对角化对一般矩阵要求苛刻，但对一类最重要的矩阵——对称矩阵（$A^T = A$）——永远成立，而且性质好得多。这是整个线性代数里最漂亮、也最常用的定理，叫谱定理（spectral theorem）：

实对称矩阵 $A$ 的特征值全部是实数，且存在正交矩阵 $Q$（$Q^T = Q^{-1}$）使得 $A = Q\Lambda Q^T$。即：对称矩阵可以被正交对角化。

两个结论分别证明，都只需要一步关键论证。

（1）特征值是实数。 设 $Av = \lambda v$，$v \neq 0$。考察标量 $v^T Av$：一方面它是实数（$1 \times 1$ 矩阵，且 $(v^T Av)^T = v^T A^T v = v^T Av$，等于自己的转置所以是实数）；另一方面 $v^T Av = v^T (\lambda v) = \lambda \|v\|^2$。$\|v\|^2 > 0$，于是 $\lambda$ 必须是实数。

（2）不同特征值的特征向量正交。 设 $Av = \lambda v$、$Aw = \mu w$，$\lambda \neq \mu$。两边作用内积并利用对称性 $A^T = A$：

即 $(\lambda - \mu)\langle v, w \rangle = 0$，而 $\lambda \neq \mu$，所以 $\langle v, w \rangle = 0$——特征向量互相垂直。把重数也处理掉（对每个特征空间取正交基）就得到完整的正交对角化 $A = Q\Lambda Q^T$。

为什么对称矩阵在工程里无处不在？因为协方差矩阵、Gram 矩阵、$A^T A$、Hessian 矩阵、拉普拉斯矩阵全都是对称的——任何”度量向量之间关系”的矩阵几乎天然对称。谱定理保证它们有扎实的谱理论可用。

谱定理最漂亮的几何应用是二次型（quadratic form）。对称矩阵 $A$ 定义二次型 $x^T Ax$，集合 $\{x : x^T Ax = 1\}$ 是一个超椭球：特征向量方向是椭球的主轴，主轴半轴长是 $1/\sqrt{\lambda_i}$。用 $A = Q\Lambda Q^T$ 代入即可看出：令 $y = Q^T x$（旋转坐标系），则 $x^T A x = y^T \Lambda y = \sum_i \lambda_i y_i^2$——椭球方程在主轴坐标系下就是”每轴独立缩放”。特征值就是”各方向弯曲/拉伸的强度”。

半正定与正定的定义也在这里：对称矩阵 $A$ 半正定（$x^T Ax \ge 0$ 对所有 $x$）当且仅当所有特征值 $\lambda_i \ge 0$；正定（$> 0$）当且仅当所有特征值 $> 0$。这是因为 $x^T A x = \sum_i \lambda_i (y_i)^2$，椭球的每个半轴都要”非负”。这串起两件你见过的东西：协方差矩阵半正定（方差非负），$A^T A$ 半正定（$\|Ax\|^2 \ge 0$）。

最后是条件数的新视角。上一篇定义条件数 $\kappa = \sigma_{\max}/\sigma_{\min}$。对对称正定矩阵，奇异值恰好等于特征值（$\sigma_i = |\lambda_i|$），于是

误差放大倍数 = 最大拉伸与最小拉伸之比。条件数巨大的矩阵意味着”各方向拉伸极不均匀”——椭球有一根很长的轴和一根极短的轴，从几何上直接看到病态性。这回答了开头的第二个问题：上一篇的条件数公式和”特征值”是同一枚硬币的两面，对称时二者重合。

从特征值到奇异值：$A^T A$ 的谱#

奇异值分解（SVD）$A = U\Sigma V^T$ 你已经会用（《数值线性代数（一）》给了它”先旋转、再拉伸、再旋转”的几何解读），但奇异值为什么等于拉伸倍数、大小意味着什么，答案藏在特征值里。

关键事实：$A^T A$ 是对称半正定矩阵，所以它可正交对角化，特征值非负。定义

为 $A$ 的奇异值，$V$ 的列（$A^T A$ 的特征向量）叫右奇异向量，$AA^T$ 的特征向量（对应同样特征值）叫左奇异向量。推导只需要一行：$\|Av\|_2^2 = v^T A^T A v = \lambda v^T v = \lambda$，所以当 $v$ 是 $A^T A$ 的特征向量时，$Av$ 的长度恰好是 $\sqrt{\lambda} = \sigma$。奇异值 = $A$ 沿对应方向的拉伸倍数，谱范数 = 最大奇异值——上一篇给过的两个结论现在都有了出处。

SVD 的构造过程值得再直观地看一眼。Shlens 的经典教程 A Tutorial on Principal Component Analysis（arXiv:1404.1100）的 Figure 4 展示了 SVD 如何从标量形式构造出矩阵形式。标量形式把 $A$ 写成 rank-1 项的累加：

每一项 $\sigma_i u_i v_i^T$ 的几何效果是：沿 $v_i$ 方向取出分量 → 放大 $\sigma_i$ 倍 → 放到 $u_i$ 方向（一个”方向到方向的搬运”）。把全部 $n$ 项叠加起来，就得到矩阵形式 $A = U\Sigma V^T$——“先旋转（$V^T$）、再沿坐标轴拉伸（$\Sigma$）、最后再旋转（$U$）“三步缝合。下图是该图的左右两个面板：

于是第一个疑问有了答案：“奇异值大小对应矩阵的什么特性？” 奇异值从大到小排列 $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_n$，就是”矩阵最强的拉伸方向、次强、……最弱的拉伸方向”的强度列表。如果一个矩阵的奇异值快速衰减（比如 $\sigma_1$ 比 $\sigma_k$ 大好几个数量级），说明它的作用主要集中在少数几个方向上——绝大多数方向几乎不被触碰。这样的矩阵就是”近似低秩”的，可以用很少的信息近似。

低秩近似能近似到多好，有精确的理论回答，这就是 Eckart–Young 定理（Eckart 与 Young，1936）。设 $A$ 的奇异值分解为 $A = U\Sigma V^T$，$A_k$ 表示只保留前 $k$ 个奇异值的截断 SVD：$A_k = U_k \Sigma_k V_k^T$。在所有秩不超过 $k$ 的矩阵中，$A_k$ 是最优近似，且误差有封闭表达式：

即误差等于被砍掉的奇异值的平方和（Frobenius 范数下；谱范数下最优误差是 $\sigma_{k+1}$）。定理的证明思路值得体会：对任意 rank-$k$ 的 $\hat A$，利用正交不变性（旋转不改变 Frobenius 范数）做 $U^T(A - \hat A)V$ 的变换，对角结构迫使 $\|A - \hat A\|_F^2$ 至少包含 $n - k$ 个奇异值平方的贡献，而截断 SVD 恰好取到等号。

这个定理是低秩压缩技术的数学地基，直接回答开头的第三个问题——MLA 为什么有效：

• MLA（Multi-head Latent Attention，DeepSeek 于 2024 年在 DeepSeek-V2 中提出，本站有完整拆解）把 KV 缓存压缩进低维 latent $c_{KV}$，推理时用上投影矩阵 $W^{UK}$ 把它映射回 $K$、$V$ 参与注意力。它有效的前提是：注意力里实际用到的 KV 信息在低维子空间中就能承载，即”KV 表示矩阵的奇异值快速衰减”。Eckart–Young 定理保证：只要奇异值谱衰减得够快，截断低秩近似的误差 $\sum_{i>k}\sigma_i^2$ 就足够小。
• 反过来，如果某个矩阵奇异值衰减慢（谱”平坦”），低秩压缩必然损失大——测量一个矩阵是否可压缩，看它的奇异值谱就够了。这也是为什么论文里讨论低秩分解时总是画奇异值衰减曲线。

低秩+量化结合的方向也值得提一句：SVD-LLM（Wang 等人，2024，SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression）把权重矩阵做 SVD 截断后再量化剩余部分。它的一个关键设计是”截断感知的数据白化”：直接用权重做 SVD 时，“砍掉小奇异值”并不严格对应”压缩损失小”（因为输入分布会把不同方向放大），于是它用校准数据的协方差做白化（Cholesky 分解，就是《数值线性代数（一）》预告过的那个分解），使得截断误差与奇异值严格对齐——小奇异值 = 小损失，截断才有理论保证。下图是论文的 Figure 1，完整管线是”数据白化 → SVD → 按奇异值截断 → 合并回权重 → （高压缩率下）逐层参数更新”：

下面用一段可复现的 Python 把本节的两个结论做实：随机矩阵的奇异值谱与 Eckart–Young 误差（结果依赖随机种子，但”误差随 k 单调下降、且等于被砍奇异值平方和”这个关系每次成立）：

1
import numpy as np
2

3
rng = np.random.default_rng(0)
4
A = rng.normal(size=(32, 32))          # 随机稠密矩阵，奇异值衰减缓慢
5
U, s, Vt = np.linalg.svd(A)            # s 是奇异值（降序）
6

7
for k in (2, 4, 8, 16):
8
    Ak = U[:, :k] @ np.diag(s[:k]) @ Vt[:k, :]
9
    err2 = np.linalg.norm(A - Ak, ord="fro") ** 2
10
    pred = np.sum(s[k:] ** 2)          # Eckart-Young：被砍奇异值的平方和
11
    print(f"k={k:2d}  实测误差^2={err2:.3f}  理论值={pred:.3f}  一致={np.isclose(err2, pred)}")

输出示例：

1
k= 2  实测误差^2=35.475  理论值=35.475  一致=True
2
k= 4  实测误差^2=33.365  理论值=33.365  一致=True
3
k= 8  实测误差^2=27.868  理论值=27.868  一致=True
4
k=16  实测误差^2=17.534  理论值=17.534  一致=True

注意随机矩阵的奇异值衰减很慢（$\sigma_k$ 随 $k$ 缓慢下降），所以 $k=2$ 时误差仍然很大——这正是”谱平坦的矩阵不可压缩”的直观演示。真实的 LLM 权重与 KV 表示往往表现出更快的衰减（部分源于训练中的隐式正则与低秩结构），这正是低秩压缩技术有效的原因。

幂迭代与瑞利商：数值上怎么算最大特征值#

前面埋的伏笔在这里兑现：工程上不用特征多项式，而是用迭代法。最基础也最直观的算法是幂迭代（power iteration），计算的是模长最大的特征值及其特征向量（称为主特征对）：

1
v ← 任意非零向量（如随机向量）
2
重复:
3
    w ← A v
4
    v ← w / ‖w‖        # 归一化，防止溢出
5
直到 v 收敛

为什么收敛？把初始向量按特征向量展开 $v^{(0)} = c_1 v_1 + c_2 v_2 + \dots + c_n v_n$（假设可对角化，$|\lambda_1| > |\lambda_2| \ge \dots$）。迭代 $k$ 次后

归一化只改变整体长度，不改变各方向的占比。括号里第一项固定，其余项按 $(\lambda_2/\lambda_1)^k$ 指数衰减——主特征方向占比每轮乘以 $|\lambda_2/\lambda_1|$。所以收敛速度由谱隙（spectral gap） $\gamma = |\lambda_1| - |\lambda_2|$ 决定：谱隙越大收敛越快。

幂迭代最著名的应用是 PageRank。Brin 与 Page 在 1998 年的论文 The Anatomy of a Large-Scale Hypertextual Web Search Engine 中把网页排名建模为马尔可夫链的平稳分布：每个网页是状态，链接转移构成行随机矩阵 $G$（每行元素和为 1，所以 $G\mathbf{1} = \mathbf{1}$——全 1 向量是特征值 $\lambda = 1$ 的特征向量）。行随机矩阵的谱半径恰好是 1：一方面 $\lambda = 1$ 真实存在，另一方面由 Gershgorin 圆盘定理，特征值都落在以对角元为圆心、半径不超过 $1 - a_{ii}$ 的圆盘内，模长不可能超过 1。PageRank 向量就是主特征向量（平稳分布），用幂迭代在数千万维的矩阵上求解——这也是”幂迭代实际支撑了谷歌早期搜索”的经典故事。推理侧同样有它的身影：分析某些系统的长期行为（比如缓存命中率的稳态、注意力在长序列上的退化趋势）时，主特征值与谱隙是核心量。

瑞利商（Rayleigh quotient） 是配套工具。对实对称矩阵 $A$，定义

把 $x$ 按正交特征基展开 $x = \sum_i c_i v_i$，代入得

这是特征值的加权平均（权重是各方向分量的能量占比），所以 $R(x) \in [\lambda_{\min}, \lambda_{\max}]$，且 $R(v_i) = \lambda_i$。用途有二：一是把幂迭代每轮的估计值 $\lambda \approx R(v^{(k)})$，收敛更快更稳（这叫瑞利商迭代）；二是作为”试探向量 $x$ 逼近特征向量程度”的度量——$R(x)$ 越接近某个特征值，$x$ 越接近对应特征向量。量化论文里分析”权重主方向”时经常隐式用到这类思想（判断某个方向是否主导，就看它在能量占比上的集中度）。

工程上要算全部特征值，用的是 QR 算法（对称情形下退化为更快的 Jacobi 算法）、Lanczos/Arnoldi 迭代等，都建立在”迭代+正交化”思想上；GPU 上的 cuSOLVER 的 syevd/gesvd 系列例程就是这些算法的实现。这里不展开，记住一句话即可：特征值问题是迭代问题，不是多项式求根问题。

数值的坑：特征值问题也会病态#

特征值问题同样有”问题病态”与”算法不稳”的区分（呼应上一篇的框架）。对称矩阵是幸运儿：Weyl 定理（1912）说，对称矩阵 $A$ 被小扰动 $E$ 扰动后，特征值的移动有界：

扰动被特征值直接吸收，不放大——对称特征值问题是良态的。

非对称矩阵可以非常病态。Wilkinson 在 1965 年的经典例子：$n$ 阶上三角矩阵，主对角元全为 0（特征值全是 0），但副对角元取正值——它对角元是 0 所以特征多项式是 $\lambda^n$，特征值全 0；然而只要在某个元素上加一个机器精度量级的扰动 $\varepsilon$，特征值就会跳到 $\varepsilon^{1/n}$ 的量级。$n = 20$ 时，$\varepsilon \approx 10^{-20}$ 的扰动（双精度能表示的最小相对量附近）就能让特征值蹦到 $0.1$ 量级。换句话说，这个矩阵的特征值在浮点世界里根本不可信。

工程启示有三条：

1. 尽量把问题对称化：能处理 $A^T A$ 或 $A + A^T$ 就不直接处理非对称 $A$（代价是要小心条件数平方，见下文）；
2. 看到非对称矩阵的特征值结论，先问”这个矩阵结构上有什么保证”；
3. 奇异值分解永远良态（$A$ 的奇异值对 $A$ 的扰动同样满足类 Weyl 界，无论 $A$ 是否对称）——这也是工程上偏爱 SVD 而非非对称特征分解的原因之一。你会在量化误差分析（如 FP8 缩放因子的选择）里反复遇到”哪个分解更稳”的取舍。

小结：一张表看完全部关系#

把本文的所有概念放进一张关系表：

回到开头四个问题，现在都能给出答案：

• RoPE 为什么跟 $\cos/\sin$ 绑定：旋转矩阵的特征值是单位圆上的复数 $e^{\pm i\theta}$，复共轭成对要求最小旋转块是 $2 \times 2$，而 $2 \times 2$ 旋转的矩阵元就是 $\cos/\sin$；
• 条件数为什么是 $\sigma_{\max}/\sigma_{\min}$：因为矩阵范数的误差放大倍数就是”最大拉伸/最小拉伸”，对称正定时恰为 $\lambda_{\max}/\lambda_{\min}$；
• MLA 为什么能低秩压缩：Eckart–Young 定理给出截断误差 = 被砍奇异值平方和，KV 表示谱衰减快是压缩有效的前提；
• 奇异值衡量什么：各方向的拉伸强度；谱越陡峭，矩阵越接近低秩、越可压缩。

特征值把”矩阵”从一串数变成一幅几何图画：先找到不变的方向，再在不变的方向上看世界。这套视角在你后面读量化、稀疏注意力、状态空间模型的论文时会不断被调用。

参考资料#

1. RoFormer: Enhanced Transformer with Rotary Position Embedding（RoPE 论文，arXiv:2104.09864）
2. SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression（arXiv:2403.07378）
3. SVD-LLM 官方代码仓库（GitHub: tuidan/SVD-LLM）
4. Mamba: Linear-Time Sequence Modeling with Selective State Spaces（arXiv:2312.00752）
5. A Tutorial on Principal Component Analysis（Shlens，arXiv:1404.1100）
6. Eigenvectors from Eigenvalues: A Survey of a Basic Identity in Linear Algebra（Denton–Parke–Tao–Zhang，arXiv:1908.03795）
7. Eigenvectors and eigenvalues | Essence of Linear Algebra, Chapter 14（3Blue1Brown）
8. Linear Algebra（MIT OCW 18.06，Gilbert Strang）
9. The Anatomy of a Large-Scale Hypertextual Web Search Engine（Brin & Page，1998）
10. Eigenvalues and eigenvectors（Wikipedia）
11. Low-rank approximation（Eckart–Young 定理，Wikipedia）
12. Power iteration（Wikipedia）
13. 本站：《数值线性代数（一）：高斯消元、LU 分解与「不要显式求逆」》、《MLA 完全拆解》、《答疑特辑：秩与 SVD、RoPE 旋转矩阵…》