Engram 完全拆解：条件记忆——MoE 之外的第二条稀疏轴

语言建模其实是两类任务#

论文的出发点是一个非常朴素的观察：语言建模这个目标函数里混着两类性质完全不同的子任务。

第一类是组合推理（compositional reasoning）：理解一段逻辑、做多步推导、根据上下文改变结论。这类任务没有捷径，必须经过深度的、动态的计算。

第二类是知识检索（knowledge retrieval）：识别一个命名实体、匹配一个固定搭配、认出一句套话。论文引用的语料统计指出，文本中相当大一部分是局部的、静态的、高度程式化的（formulaic）。经典 N-gram 模型之所以能在这些位置上做得不错，恰恰因为它们就是查表——而这些规律天然就适合用计算成本极低的查找来表示。

问题在于，标准 Transformer 没有原生的查表原语。它只有注意力（做加权求和）和前馈网络（做矩阵乘法）。于是它被迫用计算去模拟检索。

一个具体的代价：识别「Diana, Princess of Wales」需要六层#

论文引用并复现了 Ghandeharioun 等人（2024）的一个经典实验，用 PatchScope 把每一层的隐状态翻译成人话，观察模型是怎么一步步「想起」戴安娜王妃的。论文表 3 给出了这个过程：

一个静态的、写死在语料里的多 token 实体，居然要烧掉六层的注意力与 FFN 才能拼出来。前五层在做的事情，本质上是在运行时重建一张本来就可以预先存好的查找表。

论文把这个现象提炼成一句很锋利的判断：这等于把宝贵的序列深度（sequential depth）浪费在了琐碎操作上，而这些深度本可以分配给更高层的推理。这句话后面会被 LogitLens 和 CKA 两个实验从机理上证实——也是「Engram 等效于加深网络」这个结论的来源。

已有的两条路，各缺一半#

在 Engram 之前，工业界和学术界其实已经沿着两条路走过了：

条件计算这条路由 MoE 走到极致。它解决了「参数规模不被算力绑架」的问题，但注意它的稀疏性作用在计算上：被激活的专家参与矩阵乘法，没被激活的专家纯粹是闲置的容量。MoE 并没有提供一种机制，让某些参数以「查表」而非「计算」的方式被访问。

外部检索这条路由 RAG 一系走到极致。它在输入端拼接检索到的文档，粒度是文档或段落级别，检索过程不可微，且检索质量取决于一个独立的外部索引系统。它解决的是「知识更新」，不是「架构效率」。

论文要的是一条介于两者之间、且能直接参与端到端训练的路：把静态知识存成参数，但用常数时间寻址访问，而不是用矩阵乘法算出来。

第一步：tokenizer 压缩——先让词表变得「语义密集」#

标准 BPE 分词器的设计目标是无损重建（lossless reconstruction），而不是语义密度。这导致语义上完全等价的字符串会拿到互不相干的 ID。论文举的例子是 Apple 与 ␣apple（带前导空格），在词表里是两个不同的 token；中文、日文场景下，全角与半角、大小写、变音符号同样会炸出大量等价变体。

论文用一层词表投影（vocabulary projection）解决这个问题：预先计算一个满射函数

其中 $V$ 是原始词表，$V'$ 是归一化后的规范词表。$\mathcal{P}$ 把原始 token ID 折叠成规范 ID，折叠依据是文本归一化后的等价性——使用 NFKC 规范化、小写化等手段。

对一个位置 $t$ 上的 token，映射写作 $x'_t = \mathcal{P}(x_t)$。

效果：论文正文说，对 128k 词表实现了约 23% 的有效词表缩减；附录 C 的表 6 给出了精确值——压缩比 23.43%。附录还列出了合并数量最多的前 5 个规范 token：

这张表很说明问题：排名第一的竟然是空白字符，163 种换行、制表、空格变体被合并成一个 token。这直接印证了论文的动机——原始词表里有大量参数被浪费在编码「同一个东西的不同写法」上。

官方 demo 里 CompressedTokenizer 的归一化管线是：

1
self.normalizer = normalizers.Sequence([
2
    normalizers.NFKC(),                              # 兼容性归一化（全角→半角等）
3
    normalizers.NFD(),                               # 规范分解
4
    normalizers.StripAccents(),                      # 去变音符号：é → e
5
    normalizers.Lowercase(),                         # 小写化：A → a
6
    normalizers.Replace(Regex(r"[ \t\r\n]+"), " "),  # 连续空白折叠成一个空格
7
    normalizers.Replace(Regex(r"^ $"), SENTINEL),    # 保护「单个空格」不被 Strip 吃掉
8
    normalizers.Strip(),                             # 去首尾空白
9
    normalizers.Replace(SENTINEL, " "),              # 还原被保护的空格
10
])

注意第 6 行那个 SENTINEL 技巧：先做空白折叠，此时一个原本带空格的 token（如 ␣apple）会变成 " apple"；如果紧接着 Strip()，它会变成 "apple"，就和不带空格的 apple 撞车了——但这两个在语义上确实应该合并，所以设计者其实想让它们合并。真正要保护的是「token 本身就是一个空格」这种情况（␣ 单独一个 token），它 Strip 之后会变成空串。所以先用 ^ $ 正则把这个孤立的空格替换成私用区字符 U+E000，Strip 之后再换回来。

为什么要做这一步，代价是什么：收益是嵌入表的有效容量变大——同样的槽位数能覆盖更多真实语义模式，哈希碰撞概率也随之下降。代价是丢失了大小写与重音信息。对「记住 Apple 和 apple 是同一家公司」这类任务，这正是想要的；但如果模型需要区分 US（美国）和 us（我们），或者依赖德语名词大写的句法线索，这层压缩就会引入噪声。论文的消融实验显示，去掉 tokenizer 压缩是性能退化最严重的三个消融之一（见后文），说明这个看似琐碎的预处理步骤实际贡献很大。

第二步：构造后缀 N-gram#

压缩后的 token 序列上，定义位置 $t$ 处的 $n$ 阶后缀 N-gram：

这个记号里，$n$ 是阶数，$x'_{t-n+1}$ 是当前 token 往前数第 $n-1$ 个 token 的规范 ID。之所以叫「后缀」（suffix），是因为这个元组总是以当前位置 $t$ 结尾——预测任务里，我们正是在位置 $t$ 上做下一个 token 的预测，所以「以 $t$ 结尾的局部上下文」才是有效特征。

论文在 Table 5 中给出的 Engram-27B / 40B 配置是 Engram N-gram = [2, 3]，即只取 2-gram 与 3-gram。$n=1$ 被排除在外：1-gram 就是词表本身，已经被输入层的 Vocab Embedding 覆盖了，再来一遍是纯冗余。论文公式 (2) 里的连乘下标也明确从 $n=2$ 开始。

第三步：多头哈希——用 K 个头把碰撞的伤害摊薄#

直接参数化所有可能的 N-gram 组合是不可行的。128k 词表的三阶组合有 $128000^3 \approx 2.1 \times 10^{15}$ 种，即使每槽只存一个向量也放不下。

Engram 沿用哈希做法（论文援引 Tito Svenstrup 等人 2017 年在推荐系统领域的多头哈希工作）。为缓解碰撞，它对每个 N-gram 阶数 $n$ 使用 $K$ 个独立的哈希头。第 $k$ 个头把压缩后的上下文映射到一张素数大小为 $M_{n,k}$ 的嵌入表 $\mathbf{E}_{n,k}$ 的一个下标上，映射函数 $\varphi_{n,k}$ 是确定性的：

逐符号拆解：

• $z_{t,n,k}$：位置 $t$、$n$ 阶、第 $k$ 个哈希头算出的表内下标，一个非负整数，取值范围 $[0, M_{n,k})$。
• $\varphi_{n,k}$：第 $k$ 个头的哈希函数。它把变长的 token ID 元组 $g_{t,n}$ 压成一个整数。
• $\mathbf{E}_{n,k} \in \mathbb{R}^{M_{n,k} \times d_{\text{head}}}$：该头的嵌入表，$M_{n,k}$ 行、每行 $d_{\text{head}}$ 维。
• $\mathbf{e}_{t,n,k} \in \mathbb{R}^{d_{\text{head}}}$：取出的一行，就是一次 $O(1)$ 访存的结果。

最后把所有头、所有阶数的结果拼接成记忆向量：

$\|$ 是拼接（concatenation）。$\mathbf{e}_t \in \mathbb{R}^{d_{\text{mem}}}$，维度 $d_{\text{mem}} = (N-1) \cdot K \cdot d_{\text{head}}$。

1
# 每个 (层, 阶数) 对应一个随机奇数乘子
2
multipliers = r * 2 + 1                       # r 为随机整数，保证乘子为奇数
3

4
# n 阶 N-gram 的混合：先乘后异或
5
mix = tokens[0] * multipliers[0]
6
for k in range(1, n):
7
    mix = np.bitwise_xor(mix, tokens[k] * multipliers[k])
8

9
# 每个头对混合结果取模（素数）
10
head_hash = mix % mod

检索阶段的伪代码#

把上面三步串起来：

1
def engram_retrieve(input_ids, layer_id, vocab_projection, hash_mapping):
2
    """Engram 检索阶段：token 序列 -> 记忆向量 e_t"""
3
    # 1. 词表投影：128k 原始 ID -> 归一化后的规范 ID（约 23% 压缩）
4
    x = vocab_projection[input_ids]              # [B, T]
5

6
    # 2. 为每个 n-gram 阶数对齐出 n 个移位版本（左移用 pad 补齐）
7
    shifts = [shift_right(x, k, pad_id) for k in range(max_ngram)]   # 每个 [B, T]
8

9
    hashes = []
10
    # 3. 对每个阶数 n = 2..N，每个哈希头 k = 1..K
11
    for n in range(2, max_ngram + 1):
12
        mix = shifts[0] * multipliers[layer_id][0]
13
        for j in range(1, n):
14
            mix = mix ^ (shifts[j] * multipliers[layer_id][j])       # 乘法-异或混合
15
        for k in range(n_head_per_ngram):
16
            hashes.append(mix % prime_table_size[layer_id][n][k])    # 素数次模
17

18
    ids = stack(hashes, dim=-1)                  # [B, T, (N-1)*K]
19
    # 4. 一张扁平大表 + offsets 实现一次批量 gather
20
    e = multi_head_embedding(ids)                # [B, T, (N-1)*K*d_head] = e_t
21
    return e

注意第 3 步里 multipliers[layer_id] 的取值只依赖层号，prime_table_size 是编译期常量——整条检索链上没有一处依赖隐藏状态。这就是论文反复强调的确定性：索引在 token 序列确定的那一刻就完全确定了。

角色反转：隐状态当 Query，记忆当 Key/Value#

标准注意力里，Query、Key、Value 通常来自同一组输入。Engram 的门控做了一次角色反转：

• $\mathbf{e}_t \in \mathbb{R}^{d_{\text{mem}}}$：检索到的记忆向量，是这一阶段的输入。
• $\mathbf{W}_{K}, \mathbf{W}_{V} \in \mathbb{R}^{d \times d_{\text{mem}}}$：可学习的投影矩阵，把记忆映射到主干的隐藏维度 $d$。
• $\mathbf{k}_t, \mathbf{v}_t \in \mathbb{R}^{d}$：投影后的 Key 与 Value。Key 用来算相关性分数，Value 用来被加权输出。

论文特别指出：这里的 Query 用的是当前隐藏状态 $\mathbf{h}_t$，而它「已经通过前面的注意力层聚合了全局上下文」。这一点是整个设计的逻辑支点：记忆是死的，隐状态是活的；活的那个来提问，死的那个来回答。

为什么不直接用 $\mathbf{e}_t$ 加上去（像位置编码那样）？因为加法无法表达「这条记忆与当前语境矛盾，应该丢弃」。论文要的是一个可学习的、依赖于上下文的开关。

为什么是标量门控而不是向量门控？这是很多人第一次读会疑惑的点。公式给出的是 $\alpha_t \in (0,1)$，一个标量。向量门控（逐维度加权）表达力更强，但代价是额外的参数与计算，而且在实现上会破坏后面提到的「融合进单个 FP8 GEMM」的优化。论文选择标量，赌的是「记忆向量的各个维度是一个语义整体，要么整体可信、要么整体不可信」——后面第 6.5 节的门控可视化实验（Figure 7）证实了这个赌注：门控确实在「多 token 命名实体」「固定搭配」这样的整体模式上打开，而不是在某个维度上零散地打开。

门控公式与 RMSNorm 的作用#

• $\sigma(\cdot)$：sigmoid 函数，把实数压到 $(0,1)$，确保门控是「通过比例」而非「带符号增益」。
• $\text{RMSNorm}(\cdot)$：均方根归一化，$\text{RMSNorm}(\mathbf{x}) = \mathbf{x} / \sqrt{\frac{1}{d}\sum_i x_i^2 + \epsilon}$。注意这里是对 $\mathbf{h}_t$ 和 $\mathbf{k}_t$ 分别做归一化。
• $\top$：转置，$\mathbf{a}^\top \mathbf{b} = \sum_{i=1}^{d} a_i b_i$ 是点积，衡量两个向量的方向一致性。
• $d$：主干的隐藏维度（Engram-27B 中为 2560）。除以 $\sqrt{d}$ 是标准的缩放，把点积的方差拉回 $O(1)$。

为什么必须加 RMSNorm：这是门控能否正常工作的关键。如果不归一化，点积的大小会随 $\mathbf{h}_t$ 与 $\mathbf{k}_t$ 的范数一起漂移——训练早期隐状态范数很小，点积接近 0，sigmoid 输出恒为 0.5，门控形同虚设；训练后期隐状态范数变大，点积绝对值变大，sigmoid 饱和到 0 或 1，梯度消失，门控学不动。RMSNorm 把两个向量的尺度都钉死在 $O(1)$，使门控的输入分布在整个训练过程中保持稳定。论文引用 Dehghani 等人（2023）的结论，明确说这是为了梯度稳定性。

为什么值域是 $(0,1)$ 而不是 $(-1,1)$：sigmoid 而非 tanh，意味着门控只能衰减、不能反转符号。论文的意图是抑制噪声，而不是让记忆反向注入。如果允许负门控，一个错误的记忆就可能把正确答案从隐状态里「减掉」，风险远大于收益。

官方 demo 的一个实现细节：论文公式是理想形式，demo 里在 sigmoid 之前多做了一步变换：

1
gate = (normed_key * normed_query).sum(dim=-1) / math.sqrt(hidden_size)
2
gate = gate.abs().clamp_min(1e-6).sqrt() * gate.sign()      # 带符号的平方根
3
gate = gate.sigmoid().unsqueeze(-1)

abs().clamp_min(1e-6).sqrt() * sign() 是一个带符号的平方根压缩。它的作用是把点积的幅度分布往中间拉：原始点积的分布重尾（少数位置数值很大），sigmoid 会在这少数位置饱和；开方之后大值被压得更狠、小值被抬得更高，整体分布更集中在 0 附近，sigmoid 处在敏感区间内的样本比例更高，梯度更健康。clamp_min(1e-6) 是为了避免对 0 开方时梯度出现 NaN。

消融证据：论文第 6.2 节的组件消融（Figure 5）显示，去掉上下文感知门控（w/o gating）是性能退化最大的三个消融之一，与「去掉多分支融合」「去掉 tokenizer 压缩」并列。这个结果的直观解释是：没有门控，哈希碰撞的噪声会无差别地注入每一个 token，模型学到的不是「记忆」而是「噪声」。

深度因果卷积：把感受野拓宽#

门控输出定义为单位置加权：$\tilde{\mathbf{v}}_t = \alpha_t \cdot \mathbf{v}_t$。序列版本记作 $\tilde{\mathbf{V}} \in \mathbb{R}^{T \times d}$。

接下来论文加了一个短卷积：

• $\text{RMSNorm}$：对门控输出做归一化，作用同样是把尺度钉死，让卷积核的输入分布稳定。
• $\text{Conv1D}$：深度可分离（depthwise）的一维卷积，每个通道独立卷积，通道间不混合。论文设定的核大小 $w=4$，扩张率 $\delta$ 设为最大 N-gram 阶数（即 $N=3$）。
• $\text{SiLU}$：$\text{SiLU}(x) = x \cdot \sigma(x)$，平滑版 ReLU，在负半轴保留小梯度，实践中比 ReLU 更稳。
• 末尾的 $+\ \tilde{\mathbf{V}}$：残差连接。

为什么是深度可分离而不是普通卷积：普通 1D 卷积的参数量是 $w \cdot d^2$（$d=2560$、$w=4$ 时约 2620 万，且计算量随 $d$ 平方增长）；深度可分离只有 $w \cdot d$（约 1 万参数）。Engram 模块被要求「轻量」，不能喧宾夺主。论文消融也确认了这一点：去掉短卷积（w/o short conv）的退化是最轻微的一项——它有用，但不是核心。这与参数量级的判断一致。

为什么是因果（causal）：因为这是自回归语言模型。位置 $t$ 的输出不能看到 $t+1$ 之后的信息。实现上就是只在左侧 padding：demo 里 padding=(kernel_size - 1) * dilation，卷完之后截断到原长度 y_bct[..., :T]，等价于左填充的因果卷积。

为什么 dilation 取最大 N-gram 阶数：核大小 $w=4$ 的普通卷积只能覆盖相邻 4 个位置；但当扩张率 $\delta = N = 3$ 时，4 个采样点跨越的位置范围是 $(w-1) \cdot \delta = 9$ 个 token。也就是说，卷积的有效感受野大约等于 3 阶 N-gram 覆盖范围的三倍。论文的意图是让卷积去捕捉那些比 3-gram 更长、但仍然是局部的模式——比如 5-gram、6-gram 级别的固定搭配，这些模式超出了哈希表的阶数范围，却仍然不值得动用全局注意力。这是一个「用极低成本覆盖中间尺度」的设计。

融合阶段的伪代码#

1
def engram_fuse(e_t, hidden_states, W_K, W_V, short_conv):
2
    """Engram 融合阶段：记忆向量 + 隐状态 -> 模块输出 Y"""
3
    # e_t: [B, T, d_mem]；hidden_states: [B, T, M, d]，M 为多分支数
4
    k = W_K(e_t)                                  # [B, T, d]  记忆投影出的 Key
5
    v = W_V(e_t)                                  # [B, T, d]  记忆投影出的 Value（各分支共享）
6

7
    gates = []
8
    for m in range(num_branches):
9
        h = hidden_states[:, :, m, :]             # 第 m 条分支的隐状态
10
        # 门控：隐状态作 Query，记忆作 Key，RMSNorm 稳定尺度
11
        score = (rmsnorm(h) * rmsnorm(k_m)).sum(-1) / sqrt(d)
12
        score = score.abs().clamp_min(1e-6).sqrt() * score.sign()
13
        gates.append(score.sigmoid().unsqueeze(-1))
14
    alpha = stack(gates, dim=2)                   # [B, T, M, 1]
15

16
    u = alpha * v.unsqueeze(2)                    # [B, T, M, d]  门控后的记忆
17
    y = u + short_conv(u)                         # 深度因果卷积 + 残差
18
    return y
19

20

21
# 插入方式：残差连接，且只插在选定的层
22
# hidden_states = hidden_states + engram_fuse(...)    然后才是 Attention 与 MoE

注意最后两行注释——Engram 的输出是通过残差加到隐状态上的，而且加完之后才进入该层的 Attention 和 MoE。这个顺序有讲究：Engram 提供的记忆信息会先污染（或者说丰富）隐状态，然后才被注意力消费。论文 Figure 1 左侧画的就是这个顺序：输入 → Engram → Attention → MoE。

残差插入与「不是每层都插」#

$\mathbf{H}^{(\ell)} \in \mathbb{R}^{T \times d}$ 是第 $\ell$ 层的隐藏状态，$\mathbf{Y}$ 是 Engram 模块输出。论文明确指出：Engram 不是每一层都插。这个决定本身就是一个需要实验回答的设计问题。

层位置扫描：第 2 层最好，但分成两层更好#

论文第 6.2 节做了一个很干净的消融：主干固定为 12 层、3B 参数、激活 0.56B 的 MoE，训练 100B token，挂一个 1.6B 参数的 Engram 记忆。参考配置把 Engram 插在第 2 层和第 6 层，使用 2-gram 与 3-gram，验证损失 1.768；纯 MoE 基线是 1.808，改善 0.04。

然后把 1.6B 预算全部集中到一个 Engram 模块，扫插入层从 1 到 12：

图源：arXiv:2601.07372 Figure 5，Architecture ablation results

图上可以读出几个关键点：

• 第 1 层不如第 2 层。论文明确给出第 2 层的最优值 Val Loss = 1.770，第 1 层则明显更差（图上读数约 1.7735）。论文的解释是：一轮注意力已经足够给 $\mathbf{h}_t$ 提供有意义的上下文，用于门控；放在第 1 层时隐状态还没聚合任何全局信息，门控精度不足。
• 从第 3 层开始单调退化，越深越差：图上读数约为第 3 层 1.775、第 5 层 1.779、第 12 层 1.783。全部高于第 2 层的 1.770。
• 参考配置的两层方案（1.768）优于任何单层方案（最好单层 1.7705）。

这个扫描暴露了 Engram 位置的内在权衡：

• 早插：能在主干消耗计算深度之前，先把「局部模式重建」这件苦力活卸载掉。这与 Transformer 天然的层级处理顺序一致（浅层处理局部、表层特征，深层处理抽象、语义）——论文引用 Tenney 等人（2019）和 Ghandeharioun 等人（2024）的工作支持这一层级观。
• 晚插：门控精度更高。因为深层隐状态已经通过注意力聚合了充分的全局上下文，作为 Query 更有信息量；同时多分支架构在深层已经有了足够的分化，能支撑更细粒度的调制。

分成两层就是对这一权衡的折中：第 2 层承担「早卸载」，第 6 层提供「强门控」。论文指出，分层插入还带来一个系统层面的额外好处——多个 Engram 层可以把不同频率的记忆条目缓存到不同层级的存储介质上，更好地利用内存层次（见后文）。

在实际的 Engram-27B 中，论文选择的是第 2 层和第 15 层（总层数 30），把折中思路放大到了更深的网络上。

多分支集成：共享表、共享 Value、独立 Key#

论文的主干不是标准单流残差，而是多分支架构（multi-branch）。论文引用其团队自己的 mHC（Manifold-Constrained Hyper-Connections，arXiv:2512.24880）作为默认骨架，把残差流扩展成 $M$ 条并行分支，分支间信息流由可学习的连接权重调制。论文所有实验都用 $M=4$。

把 Engram 适配到多分支框架需要做结构优化，论文的方案是参数共享：

• 一份稀疏嵌入表和一个 Value 投影矩阵 $\mathbf{W}_V$ 在所有 $M$ 条分支间共享。
• $M$ 个独立的 Key 投影矩阵 $\{\mathbf{W}_{K}^{(m)}\}_{m=1}^{M}$ 用来产生分支各自的门控行为。

第 $m$ 条分支的门控信号是：

记忆经过独立门控调制后，作用在共享的 Value 向量上：

为什么这样切分参数，论文给的理由很工程：这样切之后，线性投影（一个 $\mathbf{W}_V$ 加 $M$ 个 $\mathbf{W}_K^{(m)}$）可以融合成单个稠密 FP8 矩阵乘法，最大化现代 GPU 的算力利用率。

这句话值得展开。如果每条分支都有自己独立的 $\mathbf{W}_V^{(m)}$ 和 $\mathbf{W}_K^{(m)}$，那么 $M$ 条分支就需要 $2M$ 次独立的矩阵乘，每次的 batch 都很小，GPU 的 Tensor Core 利用率会很低（小矩阵乘是典型的访存受限算子）。而把 $M$ 个 $\mathbf{W}_K^{(m)}$ 在输出维度上拼接成一个 $(Md) \times d_{\text{mem}}$ 的大矩阵、把 $\mathbf{W}_V$ 单独留着，就可以把「$M$ 个 Key 投影」合并成一次矩阵乘。共享 $\mathbf{W}_V$ 则进一步省掉了 $M-1$ 次冗余计算。

为什么门控必须分支独立：因为 $M$ 条分支承载的是不同的表示子空间，同一条记忆在不同分支里的适用程度本就不同。如果门控也共享，那 Engram 就退化成了「给所有分支注入同一个固定扰动」，失去了与分支结构协同的能力。消融实验印证了这一点——w/o multi branch（保留 mHC 骨架，但把所有分支的门控合并成一次融合，作用在 pre-mapping 之后的隐藏状态上）是退化最大的三个消融之一。

代价是什么：$M$ 个独立的 $\mathbf{W}_K^{(m)}$ 意味着 Key 侧参数量随 $M$ 线性增长。在 $M=4$、$d=2560$、$d_{\text{mem}}=1280$ 的配置下，这是 4 个 $2560 \times 1280$ 的矩阵，约 1310 万参数——相对于 5.7B 的嵌入表可以忽略。这个切分是划算的。

三个参数口径#

论文先把「参数量」这件事拆成三个互不相同的量：

• $P_{\mathrm{tot}}$：总可训练参数，排除词表 embedding 与 LM head。这决定了模型的存储开销。
• $P_{\mathrm{act}}$：每 token 激活的参数。这个量决定训练成本（FLOPs），因为只有被激活的参数参与前向与反向的矩阵乘。
• $P_{\mathrm{sparse}} \triangleq P_{\mathrm{tot}} - P_{\mathrm{act}}$：非激活参数，也就是「免费的」参数预算——它们扩大了模型容量，却不增加每 token 的计算。

第三个量是整篇论文的枢纽。MoE 的稀疏性来源是「没被选中的专家」，Engram 的稀疏性来源是「没被检索到的嵌入槽位」，两者都落进 $P_{\mathrm{sparse}}$。既然两条轴争夺的是同一池免费参数，那就存在一个分配问题。

分配比例 $\rho$#

论文定义：

$\rho \in [0,1]$ 是分给 MoE 专家容量的比例。两个极端：

• $\rho = 1$：纯 MoE，所有非激活参数都是路由专家。
• $\rho < 1$：减少路由专家数量，把腾出来的参数换成 Engram 嵌入槽位。

实验设计上，每个 FLOPs 预算内固定 $P_{\mathrm{tot}}$ 与 $P_{\mathrm{act}}$，保证等参数、等算力；两个实验点都维持稀疏比 $P_{\mathrm{tot}} / P_{\mathrm{act}} \approx 10$：

对每个 $\rho$，只调整路由专家数量与 Engram 槽位数，其余训练管线与超参完全一致。

结果：U 形#

图源：arXiv:2601.07372 Figure 3，Sparsity allocation and Engram scaling

三个结论，每一个都有数据支撑：

第一，纯 MoE 是次优的。 把大约 20%–25% 的稀疏参数预算重新分配给 Engram，性能最好。定量地看，在 10B 那一档（$C = 6 \times 10^{20}$），验证损失从 $\rho = 100\%$ 时的 1.7248 降到最优点 $\rho \approx 80\%$ 附近的 1.7109，改善 $\Delta = 0.0139$。

第二，一个反直觉的结论：即使把 MoE 容量砍到 40%，性能仍然追平纯 MoE。 论文原文说，当 MoE 分配降到 $\rho \approx 40\%$ 时（5.7B 模型剩 46 个专家，9.9B 模型剩 43 个专家），Engram 模型与纯 MoE 基线的性能相当。注意左边那条深紫色曲线（6e20）在 $\rho = 40\%$ 处的点仍低于 $\rho = 100\%$ 的端点，右边青色曲线（2e20）同理。这意味着：超过一半的专家容量被换成了查表，而性能没有损失。这是对 MoE 容量边际效用的一记重击——那些被砍掉的专家，本质上在干查表的活。

第三，最优点的位置在不同算力规模下稳定。 论文明确说最优在 $\rho \approx 75\%$–80%，并强调「在受检的规模范围内表现出稳健的分配偏好（在固定稀疏比下）」。这一点比具体数值更重要：它意味着 20%–25% 这个比例有希望作为一个可迁移的设计常数，而不是「只在某个规模上碰巧成立」。

为什么是 U 形：两个方向的失败模式#

U 形曲线的两端对应两种不同的失败：

右侧（$\rho \to 100\%$，MoE 主导）：模型缺少专门存储静态模式的记忆，被迫用深度和计算去低效重建它们。这正是第 1 节里「识别戴安娜王妃要六层」的代价。沿着这条曲线往左走，每砍掉一些专家、换成记忆，就把这部分重建工作从「计算」转成了「查找」，于是损失下降。

左侧（$\rho \to 0\%$，Engram 主导）：模型失去了条件计算能力，在需要动态、上下文相关推理的任务上受损。论文的措辞很直接：在这个区间里，记忆无法替代计算。

这句话是整篇论文的立场宣示。它没有宣称「记忆比计算更重要」，恰恰相反——它给出了计算与记忆之间的交换比：在这个实验设定下，用 1 份记忆容量换掉大约 3 到 4 份专家容量是划算的（因为 $\rho$ 从 100% 降到 75%–80%，意味着 20%–25% 的稀疏预算改投记忆，而这部分预算在纯 MoE 里对应约 4 到 5 倍的专家容量占比……需要说明的是，论文并未给出严格的「交换比」数字，这里只是从 U 形最优点位置做的定性推断）。一定要强调：最优点的存在本身就证明了记忆不能无限替代计算。如果记忆能完全替代计算，曲线应该单调下降到 $\rho = 0$。

无限记忆区间：一个干净的幂律#

第 3.1 节是在固定参数预算下做分配。第 3.2 节反过来问：如果记忆容量可以无限放宽呢？

实验设置：固定一个 $P_{\mathrm{tot}} \approx 3\text{B}$、$P_{\mathrm{act}} = 568\text{M}$ 的 MoE 主干，训练 100B token 确保收敛；在它之上挂 Engram 表，槽位数 $M$ 从 $2.58 \times 10^5$ 扫到 $1.0 \times 10^7$，最多增加约 130 亿参数。

结果（Figure 3 右图）：验证损失随槽位数的对数呈严格的线性下降——也就是幂律。图中蓝色曲线是 Engram，青色是 OverEncoding（把 N-gram embedding 与词表 embedding 平均的早期做法）。两条曲线都在下降，但 Engram 的斜率更陡，同样的记忆预算能换来更大的损失下降。

论文的结论是：Engram 提供了一个可预测的缩放旋钮（scaling knob）——更大的记忆持续带来收益，且不需要额外算力。对工程实践而言，这意味着记忆容量可以像「加硬盘」一样规划，而不是像「加层数」那样要重新平衡整个训练配方。

顺带一提，论文在这里做了一个排除性说明：SCONE（Yu 等人，2025）也研究大规模 embedding，但它是面向推理的，且引入了额外模块（f-gram model）与额外的训练 FLOPs，与本文严格的等算力约束不兼容，所以没有作为基线。这一段透露出论文的方法论洁癖：任何额外算力都要计入账本。

四个模型#

所有模型共享同一套 30 层主干、隐藏维度 2560、序列长度 4096、词表 129280、batch size 1280、训练 50000 步（262B token）。注意力是 MLA（32 个头），FFN 通过 mHC（扩张率 4）连接，优化器用 Muon（嵌入参数用 Adam），基础学习率 4e-4，step decay，权重衰减 0.1。

几个关键设计：

Engram-27B 是从 MoE-27B 严格推导出来的。路由专家从 72 减到 55，腾出的参数原封不动变成 5.7B 的嵌入模块——总参数保持 26.7B 不变。对应的分配比例是 $\rho = 74.3\%$，正好落在 U 形最优点 75%–80% 的区间边缘。这不是巧合，是分配律的直接应用。

表 5 的配置可以反推出 5.7B 这个数字。$d_{\text{mem}} = 1280$ 由 $(N-1) \times K \times d_{\text{head}}$ 组成，即 $2 \times 8 \times d_{\text{head}} = 1280$，解得每个头 $d_{\text{head}} = 80$。于是嵌入表总参数为：

2 层 × 2 个 N-gram 阶数 × 8 个头 × 2,262,400 槽 × 80 维 ≈ 5.79B

与论文声明的 5.7B 一致。Engram-40B 用同样公式：2 × 2 × 8 × 7,239,680 × 80 ≈ 18.53B，与声明的 18.5B 精确吻合。这说明论文表 5 里的「Engram Vocab Size」是单头单阶数的表大小。

优化细节值得单独记一笔：嵌入参数用 Adam、学习率放大 5 倍、不做权重衰减；卷积参数零初始化。

• 学习率放大 5 倍：嵌入表是高基数稀疏查找，每个槽位在一步内只被极少数 token 命中，天然处于「低样本」状态。用主干的 4e-4 会让槽位更新过慢，学不出来。
• 权重衰减为 0：嵌入槽位不是稠密权重，对它们做 L2 收缩没有正则意义，反而会把罕见 N-gram 的记忆抹掉。
• 卷积零初始化：这是一个精妙的工程细节。卷积核初始为 0，意味着训练第一步时 $\text{Conv1D}(\cdot) \equiv 0$，于是 $\mathbf{Y} = 0 + \tilde{\mathbf{V}} = \tilde{\mathbf{V}}$——模块退化为恒等映射。主干的初始行为与没有 Engram 时完全一致，训练从一个「已经能正常工作」的状态开始，再逐渐学习如何利用记忆。如果不零初始化，训练初期随机的卷积输出会作为噪声注入前向，干扰主干已有的收敛路径。

主结果#

表 1 给出了完整对比（所有模型训练 262B token，激活参数 3.8B）。下表摘出最关键的几组：

（表中「相对 MoE-27B」一列由表中数值相减得出。需要说明一处不一致：论文摘要写 MMLU 提升 +3.4，而正文第 4.2 节与表 1 的数值都对应 +3.0；这里以表 1 与正文为准。）

最反直觉的一点：收益在推理和代码上更大#

按论文自己的预期，记忆模块最该帮助的是知识类任务——MMLU、CMMLU、TriviaQA 这些「记没记住」的题。数据确实显示知识类有提升（CMMLU +4.0、MMLU +3.0、CCPM +7.5）。

但真正的意外在于：推理与代码/数学上的提升更大。BBH +5.0、ARC-Challenge +3.7、DROP +3.3；代码数学侧 HumanEval +3.0、MATH +2.4、GSM8K +2.2、MGSM +2.6。注意这些模型是等参数、等 FLOPs、同数据、同配方的，唯一的差别是 5.7B 参数从专家挪到了记忆表。

论文对此的解释是：记忆不是冗余，它把算力让给了推理。当浅层不需要再花力气去重建静态模式，这些层的表征能力就被释放出来，用于更高阶的组合。这正好呼应 LogitLens 和 CKA 的机理发现——也是整篇论文最值得记住的洞察。如果一个模型的推理能力受限于「深度不够」，那么把浅层从查表工作中解放出来，等效于增加深度。

Engram-40B：容量还没吃满#

Engram-40B 把记忆从 5.7B 扩到 18.5B（总参数 39.5B），激活参数不变。结果：预训练损失进一步下降，多数基准继续提升（AGIEval 41.8 → 45.9、ARC-Challenge 73.8 → 76.4、GSM8K 60.6 → 62.6、MGSM 49.4 → 52.4、CruxEval-i 32.2 → 36.2）。

但它并非在每个任务上严格优于 Engram-27B——HumanEval 从 40.8 掉到 38.4，MBPP 从 48.2 掉到 46.2，MATH 基本持平（30.7 → 30.6）。论文对此的判断是训练不足（under-training）而非容量无用：训练损失曲线显示，Engram-40B 与基线的差距在训练末期仍在扩大，说明「扩大的记忆容量在当前 token 预算内尚未饱和」。这是一个诚实的结论——它同时也意味着 Table 1 里 Engram-40B 的数字是下限。

实验设置#

上下文扩展沿用 DeepSeek-V3 的策略：预训练结束后，用 YaRN 在 32768 token 的上下文长度上训练 5000 步（30B token 高质量长文本）。超参为 scale $s = 10$、$\alpha = 1$、$\beta = 32$、缩放因子 $f = 0.707$。这四个参数是 YaRN 的标准配置，含义分别是：$s$ 是整体缩放倍率，$\alpha$ 与 $\beta$ 控制 NTK 插值的过渡区间，$f$ 是注意力温度补偿系数。

评价基准用两个：

• LongPPL：长上下文困惑度，分四类语料——长书籍（Book）、研究论文（Paper）、代码仓库（Code）、长思维链轨迹（L-CoT）。
• RULER：14 个子集归成 8 类——单键/多键/多值/多查询的「大海捞针」（S / MK / MV / MQ），以及多跳变量追踪（VT）、常见词提取（CWE）、高频词提取（FWE）、问答（QA）。

一个方法学上的讲究：Iso-Loss 对照#

论文在这里展示了一个值得学习的实验设计。如果直接拿「训练了 50000 步的 Engram-27B」对比「训练了 50000 步的 MoE-27B」，结论会被一个混杂变量污染：长上下文能力与基础模型本身的好坏强相关。

论文为此设了三组对照：

• Iso-FLOPs 设置：Engram-27B（50k）对比 MoE-27B（50k）。同等算力，最标准的对比。
• Iso-Loss 设置：Engram-27B（46k）对比 MoE-27B（50k）。46k 这个检查点是特意挑的——它的预训练损失（1.63）与充分训练的 MoE-27B（1.63）完全相同。这样两边的「基础能力」被对齐，任何差异都只能归因于架构。
• 极端设置：Engram-27B（41k，只用了约 82% 的预训练算力）对比 MoE-27B（50k）。

这个设计本身就是论文的一个隐含主张：做架构对比时，对齐损失比对齐步数更有意义。它还顺带观察到一个现象——Engram-27B 从 41k 到 50k，长上下文性能随预训练进程单调提升，说明长上下文能力与基础建模能力是耦合的。

结果#

（左侧四列为 LongPPL 困惑度，越低越好；右侧八列为 RULER 准确率，越高越好。S/MK/MV/MQ 为大海捞针，VT 为变量追踪，CWE/FWE 为词提取，QA 为问答。）

几个必须点出来的数字：

Multi-Query NIAH（MQ）：84.2 → 97.0，提升 12.8 个点。 这个提升在46k 检查点上就已经拿到（同样是 97.0），也就是说，用比基线少 8% 的预训练算力、且基础损失完全对齐的条件下，架构本身就贡献了这 12.8 个点。

Variable Tracking（VT）：77.0 → 87.2（46k）/ 89.0（50k），提升 10.2 到 12.0 个点。 变量追踪是多跳任务——需要跟踪多个变量在长文本中的赋值与重绑定，是纯粹的长程依赖测试。这个任务的提升最能支持「注意力容量被释放」的假设。

Frequent Words Extraction（FWE）：73.0 → 98.6（46k）/ 99.3（50k），提升 25 个点以上。

最极端的一组：Engram-27B（41k）只用 82% 的预训练算力，在 LongPPL 上与完全训练的 MoE-27B 打平（4.37 vs 4.38、2.92 vs 2.91、2.50 vs 2.49），在 RULER 上全面超过（MQ 89.5 vs 84.2、VT 83.2 vs 77.0、FWE 99.6 vs 73.0、QA 44.0 vs 34.5）。论文原文的措辞是「underscoring the intrinsic superiority of the Engram architecture」。

为什么会有这个结果，论文的逻辑链条是：注意力是一种有限资源。在标准 Transformer 里，注意力既要处理「这个代词指谁」这种局部绑定，又要处理「这份文档的主旨是什么」这种全局关系。局部绑定大量、廉价、模式固定；全局关系少量、昂贵、需要容量。当 Engram 把前者接过来，注意力头就可以专门服务后者——于是长上下文检索类任务的提升远大于平均水平的提升。

这条观察与站内已经拆过的 KV Cache 那条线正好互补：StreamingLLM 讨论的是「哪些 KV 可以丢」，H2O 讨论的是「哪些 KV 是重击者」，SnapKV 讨论的是「怎么在生成前投票压掉 prompt KV」——它们都在优化注意力的成本；而 Engram 的思路是减少注意力需要处理的东西。两条路不冲突，可以叠加。

证据一：LogitLens 显示预测收敛更快#

LogitLens 的做法是：拿每一层的中间隐状态，直接用最终的 LM Head 投影出词表分布。论文计算这个中间分布与模型最终输出分布之间的 KL 散度——散度越小，说明该层的表征越「接近可以直接下预测」，也就是越「prediction-ready」。

图源：arXiv:2601.07372 Figure 4，Analysis of representational alignment and convergence speed

结果（Figure 4a）：与 MoE 基线相比，两个 Engram 变体的逐层 KL 散度系统性地更小，且差距在早期层最明显。曲线下降更陡，意味着模型更早完成特征组合。论文的解读是：通过显式访问外部知识，Engram 减少了所需的计算步数，从而在网络层级中更早达到高置信度的有效预测。

证据二：CKA 显示「第 5 层 ≈ MoE 的第 12 层」#

第二个证据更硬。论文用中心核对齐（Centered Kernel Alignment，CKA）比较两个模型各层表征的相似度结构。CKA 的定义是：

• $K = XX^{\top}$ 与 $L = YY^{\top}$ 是两组表征 $X, Y$ 的格拉姆矩阵（Gram matrix，用线性核），$X, Y$ 分别来自两个模型（或两层）的激活。
• $\text{HSIC}$ 是希尔伯特-施密特独立性准则（Hilbert-Schmidt Independence Criterion，Gretton 等人 2005）。它度量两个格拉姆矩阵所代表的相似度结构有多接近。
• 分母的 $\sqrt{\text{HSIC}(K,K)\text{HSIC}(L,L)}$ 是归一化项，把 CKA 压到 $[0,1]$，使得不同尺度、不同维度的表征可以公平比较。

实现上论文用的是 minibatch 版本与 HSIC 的无偏估计（Davari 等人 2023），在 Few-NERD 数据集上提取命名实体最后一个 token 的隐状态。

仅有相似度矩阵还不够——他们进一步定义了软对齐指数 $a_j$：

逐符号解释：

• $S \in [0,1]^{L \times L}$：逐对的 CKA 相似度矩阵，$L$ 是层数。$S_{i,j}$ 表示 MoE 的第 $i$ 层与 Engram 的第 $j$ 层的相似度。
• $\mathcal{I}_j$：对固定的 Engram 层 $j$，在所有 MoE 层 $i$ 中取相似度最高的前 $k$ 个（论文取 $k=5$）。用 top-$k$ 过滤是为了排除低相似度的噪声——如果不做筛选，一堆 0.3 的弱相似会拖偏重心。
• $a_j$：这 $k$ 个 MoE 层下标的加权质心，权重就是相似度本身。它充当「Engram 第 $j$ 层对应的有效 MoE 深度」这一概念的稳健代理。

结果（Figure 4b–c）：相似度热图中出现了明显的对角线上移——即 $a_j > j$ 在很大范围的层上都成立。论文给出的具体例子是：Engram-27B 第 5 层的表征，最接近 MoE 基线第 12 层左右的表征。

7 层的「免费深度」。这个结论把前面所有零散观察串成了一条线：Engram 通过显式查表绕过了早期的特征组合，从而在功能上等效于加深了网络。

关键差异：确定性 vs 动态#

MoE 的路由依赖运行时的隐藏状态。一个 token 在到达第 5 层之前，你无法知道它会被路由到哪些专家——因为路由决策本身是第 5 层注意力与 FFN 计算的结果。这意味着，参数必须就在计算设备上（或者至少在同一高速互连域内），否则每次路由都要发起一次通信，延迟无法隐藏。这就是为什么 MoE 服务必须做专家并行——专家参数必须在设备上，通信也就被绑死在关键路径上。

Engram 的寻址只依赖输入 token ID。这个信息在请求进入系统的那一刻就完全确定了。论文的措辞是：内存索引在前向传播之前就已经知道，因此系统可以通过 PCIe 从充裕的主机内存异步检索嵌入。

训练阶段：分片 + All-to-All#

训练时，嵌入表太大，装不进单卡。论文用标准模型并行：把表分片到所有可用 GPU 上；前向传播用 All-to-All 通信原语收集激活的行，反向传播再派发梯度。这样总内存容量随加速器数量线性扩展。

图源：arXiv:2601.07372 Figure 2，System implementation of Engram

推理阶段：预取与重叠#

推理时，由于索引已知，系统可以在需要它们之前就把嵌入取回来。要掩盖 PCIe 传输延迟，关键是让 Engram 模块放在足够深的层——前面几层的计算时间就是隐藏延迟的窗口。论文把这个称为硬件-算法协同设计：

一方面，把 Engram 放得更深能延长可用于隐藏延迟的计算窗口；另一方面，第 6.2 节的消融显示，建模性能偏好早期介入（第 2 层）以卸载局部模式重建。因此最优位置必须同时满足建模性能和系统延迟两个约束。

这段是整篇论文里「算法-系统协同」体现得最清楚的一处。它解释了一个看似矛盾的配置选择：既然第 2 层建模最好，为什么实际模型用第 2 层和第 15 层？ 答案是第 15 层那个位置承担了系统职责——它离输入足够远，PCIe 预取有充分的隐藏窗口；同时它提供了更强的门控 Query。

多级缓存层次#

论文还指出一个统计性质：自然语言的 N-gram 服从 Zipf 分布——极少数模式占据了绝大多数访问。这个性质直接支持多级缓存层次的设计：高频嵌入缓存在更快的介质（GPU HBM 或主机 DRAM），长尾的罕见模式放在更慢但容量更大的介质（NVMe SSD）。这种分层让 Engram 能以极小的有效延迟代价扩展到海量记忆容量。

实测：100B 参数表卸载，损失不到 3%#

论文用一个基于 nano-vLLM（vLLM 的精简原型）搭建的推理实验台做了实测。为了避开专家并行带来的通信干扰，测试跑在两个纯稠密主干上（Dense-4B 和 Dense-8B），在第 2 个 Transformer 块插入一个1000 亿参数的 Engram 层，整个嵌入表驻留在主机 DRAM。推理时系统异步预取该层的嵌入，把 PCIe 传输与前一个块的计算重叠。

硬件：NVIDIA H800。负载：512 条序列，长度在 100 到 1024 之间均匀分布。

结论：卸载 1000 亿参数的嵌入表，吞吐损失峰值只有 2.8%（8B 主干），4B 主干上只有 1.92%。论文原文的表述是「negligible throughput penalty, peaking at only 2.8% on the 8B backbone」。

论文还强调这个实验是保守下界：它强制所有检索都走 PCIe 从主机内存取，完全没有利用 Zipf 局部性做分层缓存。一个真正优化过的、局部性感知的实现，损失应该更小。

这个数字的工程含义是颠覆性的。它意味着参数存储与计算可以彻底解耦：GPU 只需要承担计算，知识库可以放在便宜得多的主机 DRAM（乃至 SSD）上。参数规模的扩展不再受限于 HBM 容量，也不需要用专家并行把表拆到几十张卡上。论文的措辞是「Engram 有效地绕开了 GPU 内存约束，使得激进的参数扩展成为可能」。

同时要注意一个前提：每一步的有效通信量随激活槽位数而非表的总体积缩放。每个 token 每层只取 $(N-1) \times K = 16$ 行向量（每行 80 维，bf16 下 160 字节），合计约 2.5 KB/token/层。表再大，这个数字不变——这才是 O(1) 的真正含义。

推理时把 Engram 关掉会怎样#

论文做了一个相当激进的实验：推理时完全抑制稀疏嵌入的输出（相当于把 Engram 模块摘掉），保持主干不变，观察各基准掉了多少。

必须说明，这种事后消融会造成训练-推理不一致，在复杂的混合能力任务上会引入噪声。所以论文明智地只分析敏感度谱的两个极端——事实知识与阅读理解——这两类任务在压力测试下的信噪比最高。

图源：arXiv:2601.07372 Figure 6，Retained performance under Engram ablation

结果呈现一个尖锐的功能二分：

• 事实知识类：灾难性崩塌，只保留 29%–44% 的性能。其中 TriviaQA 掉到 29%。
• 阅读理解类：韧性极强，保留 81%–93%。其中 C3 保留 93%。

论文的解读：前者证明 Engram 模块是参数化知识的主要仓库——这一点与「FFN 作为键值记忆」的既有理论（Geva 等人 2021）形成对照，说明在 Engram 架构里，知识的存储位置发生了迁移；后者说明依赖上下文的问答任务主要依赖主干的注意力机制，而不是 Engram。

这组数字回答了一个自然会被问到的问题：Engram 是不是把 FFN 的活抢了？ 答案是部分是的——它抢走了「存储静态事实」这部分工作，而把「基于上下文推理」留给了主干。这正是论文想达到的分工。

组件消融：什么最重要#

回到 Figure 5 右侧的消融标记（基于 12 层 3B MoE + 1.6B Engram 的参考配置，参考验证损失 1.768）：

两点值得展开：

4-gram 在固定预算下反而略差。 论文的解释是：在 1.6B 参数固定的前提下，加入 4-gram 会稀释更频繁的 2-gram / 3-gram 模式的容量。这个判断很关键——它说明记忆容量不是「越多阶越好」，而是一个需要与语料频率分布匹配的预算分配问题。论文也谨慎地补充：不排除在更大的记忆规模下更高阶 N-gram 会变得有益。

三大瓶颈的组合很说明问题。 它们分别对应：与主干结构的耦合方式（多分支）、输入表示的语义密度（tokenizer 压缩）、以及噪声抑制能力（门控）。换句话说，Engram 的收益不来自「查表」这个动作本身，而来自这三个配套设计。这也解释了为什么早期直接把 N-gram embedding 平均进输入层的做法收效有限——缺的正是这套「如何把静态记忆安全地注入动态主干」的机制。

tokenizer-agnostic Engram#

Engram 有一个明显的耦合问题：哈希建立在 token 级的 N-gram 上，所以换一个 tokenizer 就等于换了一套键空间——模型必须从头训练自己的 Engram 嵌入。这对「Engram 权重作为可复用资产」是致命的。

2026 年 7 月 31 日提交的 Tokenizer-Agnostic Engram Module（arXiv:2607.29065）直接针对这一点：它把 token 级的 XOR 哈希换成字节级的多项式哈希，并在所有 N-gram 阶数间共享一个联合嵌入空间。论文的主张是，这样处理后不同 tokenizer 的 Engram 模型之间可以做到哈希等价（对字节等价的 token 序列），从而复用 Engram 嵌入。摘要称这种替换「产生了可比的性能并实现了 tokenizer 无关性」。

这个工作的意义在于：如果 Engram 表真的成为一种可移植的知识资产，那它的经济学就完全变了——你可以训练一次记忆、在多个模型上复用。

官方仓库与社区实现#

deepseek-ai/Engram 官方仓库提供了论文、架构图，以及一个单文件 demo（engram_demo_v1.py）。要注意官方自己的免责声明：

提供的是演示版本，用于说明数据流。标准组件（Attention/MoE/mHC）被 mock 掉以聚焦 Engram 模块本身；生产使用还需要进一步优化（自定义 CUDA kernel、分布式训练支持）。

也就是说，官方给的是「逻辑参考」，不是「可训练实现」。这直接催生了社区实现：

• QingGo/engram-peft：一个非官方实现，把它包装成 PEFT 风格的接口，可以往任意 HuggingFace Transformer 里注入 Engram 层，支持 engram_only、stacked-adapter 与全量微调等训练模式，并可选叠加 LoRA。作者在知乎上说明动机：官方只发布了简单 demo，没有便于快速集成的库，也没有开源训练代码，从论文重新实现容易出错或有遗漏。README 称其与论文对齐，并支持 Ascend NPU 后端。
• softwarewrighter/engram-poc 及其配套的博客系列：在 SmolLM-135M 上做了两阶段复现（先用 LoRA 做行为模拟，再接入真实的哈希记忆模块）。他们验证了查找时间近似常数（64 token 时 0.15 ms，2048 token 时 2.77 ms，而按线性外推应约 4.8 ms），同时报告了一个重要的负面结果——Engram 在可枚举的结构化查找任务上收益显著（缩写展开、元素符号），但在世界首都、模式补全这类任务上反而变差，结论是「Engram 是专用工具，而非通用增强」。
• 还有一个值得记录的实现陷阱：HuggingFace 上 Quazim0t0/Escarda-86M-Base 的一条 engram repair 记录指出，原实现存在退化问题——冻结的 LSH 压缩器把所有 token 都哈希到 bucket 0，导致只有一行嵌入收到梯度。修复后输出保持 bit-identical，但哈希变得分散到全表，每个 bucket 才可独立训练。

把这些放在一起看，社区复现给出的共识是：可以跑通，收益高度任务相关，门控与防碰撞是成败关键。这与论文在 27B 规模上的结论方向一致，但社区在小模型上看到的负面案例（世界首都 −19%）也提醒我们：论文报告的是在严格等参数等算力的、经过充分调参的配方下的净收益，把这个模块随手插进一个小模型并不保证有效。