HeMeR 完全拆解:异质记忆的 KV 重对账,具身智能体如何跨决策步复用缓存(NeurIPS 2026 Oral)

11289 字
56 分钟
HeMeR 完全拆解:异质记忆的 KV 重对账,具身智能体如何跨决策步复用缓存(NeurIPS 2026 Oral)

具身智能体(embodied agent)的一次决策并不是「看一眼、动一下」这么简单。它需要把环境里学到的显式知识、过去学会的操作流程、以及当前任务的进度拼成一段上下文,交给基础模型(foundation model)生成动作。这段上下文在每一步都会变化:刚看到的抽屉位置要写进工作记忆,完成子目标后旧内容要被淘汰,切换「搜索」「加热」「放置」等技能时,背后的 LoRA 适配器也会换。于是问题落到推理系统上:每一步都要把整段记忆上下文重新 prefill 一遍吗?

NeurIPS 2026 的一篇 Oral 论文给出了否定答案。成均馆大学(Sungkyunkwan University)的 Saehun Chun、Wonje Choi、Jinwoo Jang、Taeyoon Kwack 与 Honguk Woo 提出 HeMeR(Heterogeneous Memory Reconciliation),把异质记忆的更新映射为 KV Cache 的局部重对账:记忆内容没变,缓存就保留;只是位置变了,就用 RoPE 重映射把键的相位改到新位置;内容、依赖或适配器变了,才重算对应区间。论文于 2026 年 11 月 12 日发布在 arXiv(编号 2611.16487),并在 ALFWorld、EmbodiedBench Habitat 与真实 UR7e 机械臂平台上验证:真实场景目标条件任务成功率 83.20%,每步推理时间从 MemRL 的 2.94 秒降到 1.87 秒。

这篇拆解不满足于复述摘要。下面会从「为什么普通前缀缓存救不了具身智能体」讲起,逐步展开记忆模式(memory schema)、块级 KV 重对账、适配器稳定重对账、RoPE 重映射的数学,以及论文中每一项实验和消融说明了什么。

问题的起点:记忆上下文每一步都在变

三类记忆,一个上下文

论文把具身智能体的记忆分成三个模块:

  • 陈述性记忆(declarative memory):存显式知识,例如物体在哪里、哪个容器装什么、任务的前置条件。通常以结构化事实或符号表示保存。
  • 程序性记忆(procedural memory):存学会的行为流程,例如「先找杯子、再走到咖啡机、按按钮」。在这篇论文的实现里,程序性记忆被实例化为 LoRA 适配器,每个适配器对应一类技能。
  • 工作记忆(working memory):存当前交互状态,包括最近的观察、中间决策、子目标和动作历史。

三者分开存储、分别检索,本身是合理的模块化设计。但动作选择需要把它们组合成一段记忆上下文(memory context),再与当前观察、任务目标一起送进基础模型。模型对这段上下文做前向,产生 Transformer 的 KV 状态,随后自回归生成动作 token。

关键事实是:相邻两次决策之间,记忆上下文的大部分内容并没有变。杯子还在桌上,任务目标还是「把苹果放进冰箱」,上一轮看到的抽屉位置仍然有效。变化的往往只是工作记忆末尾新增的一条观察、被淘汰的一条旧记录,或者程序性记忆选中的适配器。论文的动机图(Figure 1)把这个场景画得很清楚:环境变化触发记忆内容更新与适配器切换,朴素实现重算整个 KV Cache,HeMeR 只更新受影响的 KV 区间并复用兼容状态。

HeMeR 动机图:记忆内容更新与适配器切换时,朴素实现全量重算,HeMeR 只更新受影响 KV 区间

图中上半部分是智能体在环境中收到新观察,下半部分对比两条推理路径:左侧的朴素实现把更新后的整段记忆上下文当作全新输入,重新计算全部 KV;右侧的 HeMeR 保留未变记忆块对应的 KV 区间,只对变化部分做局部重算,并把位置发生移动的块通过 RoPE 重映射对齐到新位置。这张图也是全文的问题定义:记忆模块负责「存什么、取什么」,而推理系统必须回答「取出来的内容变了之后,缓存怎么接」。

现有记忆智能体漏掉了推理层

已有的记忆增强智能体大多聚焦在存储、检索与更新策略:MemGPT 管理分层记忆,MemoryBank 做长期记忆衰减,Generative Agents 维护记忆流,MemRL 从历史轨迹中检索情节记忆。这些工作把检索到的内容当成普通输入,每一步重新拼 prompt,重新 prefill。对任务正确性或许够用,但对长程交互的推理成本不友好。

论文用一组数字说明了代价:在 ALFWorld 上,MemRL 每步 0.90 秒;在 Habitat 上每步 2.68 秒;真实机器人场景每步 2.94 秒。具身任务往往要几十到上百步,单步几百毫秒到几秒的重复 prefill 会直接吃掉控制频率。更麻烦的是,前缀缓存只能复用稳定前缀:系统提示与任务描述可以缓存,但记忆上下文位于 prompt 中段,且插入、淘汰、重排都会改变后续 token 的位置,传统前缀缓存从第一个变化点之后全部失效。

这就是 HeMeR 要解决的空白:不是「如何检索更好的记忆」,而是「记忆内容更新后,如何把旧 KV 状态安全地接到新上下文上」。

为什么不能简单地把所有旧 KV 都复用

最朴素的「能复用什么就复用什么」同样行不通。Transformer 的 KV 状态不是孤立 token 的属性:一个 token 的 Key/Value 是在它之前的所有上下文参与注意力计算后形成的。把一段旧 KV 直接搬到新的前驱上下文后面,等于假设前驱变化不会影响这段表示。对远离变化点的块,这个假设通常近似成立;对紧邻变化点、或依赖被更新内容的块,偏差会累积成错误动作。

论文的附录专门量化了这一点:朴素复用(Naive reuse)在连续 30 次记忆更新后,隐藏状态与全量重算的余弦相似度降到 0.949;CacheBlend 按边界周期重算,数值随距上次重算的距离波动;HeMeR 在内容变更与适配器切换时重算受影响区间,最终保持在 0.974。复用与正确性之间存在明确的取舍,HeMeR 的设计就是把这条取舍线画在「记忆块」这一层。

核心抽象:把记忆上下文变成带 KV 区间的类型化块

HeMeR 的第一个设计决策,是不把记忆上下文当成扁平的 token 序列,而是当成一段由记忆块组成的结构化序列。每个记忆块对应一条记忆内容,在分词与编码之后映射到一段连续的 KV 区间。

记忆模式记录了哪些字段

论文的记忆模式(memory schema)为每个块记录:

字段作用
持久 ID(persistent ID)跨决策步匹配同一条记忆内容,与位置、token span 无关
记忆模块类型区分陈述性、程序性、工作记忆
语义角色例如「物体位置」「子目标」「可用技能」
依赖标注声明该块依赖哪些其他块,用于失效传播
规范化内容去掉格式差异后的内容,用于判断内容是否真的变了
位置与 token span当前上下文中的顺序位置与 token 范围
KV 区间该块在当前缓存中的物理位置
适配器标识程序性块额外记录计算其 KV 时生效的 LoRA 适配器

这套字段是整个方法的地基。没有它,系统只能比较原始 token 是否相同;有了它,系统可以先按持久 ID 找到「同一条记忆」,再逐字段判断它是否仍然兼容。论文的消融显示,去掉记忆模式后,复用率从 75.30% 掉到 51.39%,成功率从 71.43% 掉到 62.67%,说明「按内容身份而不是按 token 位置管理缓存」不是实现细节,而是主要收益来源。

三个层次:模块、内容、上下文

论文明确区分三个层次:

  1. 记忆模块(memory module):负责某一类信息的存储与检索,例如陈述性模块。
  2. 记忆内容(memory content):某一步从模块中检索出来的一条具体内容。
  3. 记忆上下文(memory context):把多条记忆内容按当前任务组合成的完整上下文。

形式化地,设智能体在第 tt 步收到观察 oto_t、维护目标 gg、拥有交互历史 hth_t,三个模块的检索函数分别为 RdecR^{\mathrm{dec}}、RprocR^{\mathrm{proc}}、RworkR^{\mathrm{work}},则检索结果为

Dt=Rdec(ot,g,ht),Pt=Rproc(ot,g,ht),Wt=Rwork(ot,g,ht).D_t = R^{\mathrm{dec}}(o_t, g, h_t), \quad P_t = R^{\mathrm{proc}}(o_t, g, h_t), \quad W_t = R^{\mathrm{work}}(o_t, g, h_t).

其中 DtD_t 是陈述性记忆内容,PtP_t 是程序性记忆内容,WtW_t 是工作记忆内容。组合函数 Γ\Gamma 把它们拼成第 tt 步的记忆上下文

Xt=Γ(Dt,Pt,Wt),X_t = \Gamma(D_t, P_t, W_t),

基础模型 FθF_\theta 再结合当前观察与目标生成动作

at∼Fθ(⋅∣Xt,ot,g).a_t \sim F_\theta(\cdot \mid X_t, o_t, g).

这三个式子看似只是记号,实际上定义了系统的可干预点。记忆模块决定 Dt,Pt,WtD_t,P_t,W_t 的内容;组合函数 Γ\Gamma 决定顺序与位置;推理框架只能在 XtX_t 已经形成之后,决定哪些 KV 状态可以复用。HeMeR 的位置就在 Γ\Gamma 与 FθF_\theta 之间,充当记忆智能体与基础模型之间的服务层。

HeMeR 总览:记忆块索引、受影响 KV 区间更新与跨步缓存保留

总览图展示了完整链路:左侧是三类记忆模块检索出的内容,中间按记忆模式索引成块并映射到 KV 区间,右侧在每一步根据差异计划更新受影响区间、保留兼容区间,最后组装成当前步的 KV Cache 供模型生成动作。图中把「内容更新」和「适配器切换」画成两条会破坏缓存兼容性的路径,对应论文的两个核心机制。

与前缀缓存、CacheBlend 的关系

把 HeMeR 放回 KV 复用的技术谱系里,会更容易理解它的定位。

  • 前缀缓存(prefix caching)只复用从序列开头到第一个变化点之前的稳定前缀。记忆上下文通常在 prompt 中段,一旦工作记忆追加内容,后面的块位置全部改变,前缀缓存无法覆盖。
  • CacheBlend 允许复用非前缀的文本段,但需要按段边界做选择性重算,并且默认这些段来自检索文档、彼此独立。它解决了「多段 RAG 上下文拼接」的问题,却没有记忆块的身份、依赖与适配器概念。本站有 CacheBlend 完全拆解 可供对照。
  • KEEP 是面向具身规划的 KV 缓存中心记忆管理系统:用「静态—动态」记忆构造算法把混合粒度的记忆分组以减少重算,再用多跳记忆重算算法动态识别重要记忆区域,但失效更新仍按分组整体处理,粒度比记忆块粗。本站的 前缀缓存淘汰完全拆解 讨论过类似的分组失效思路。
  • LRAgent 把多 LoRA 智能体的缓存拆成「共享主干基座分量」与「适配器相关分量」,从而在多个智能体之间共享缓存;它处理的是智能体之间的缓存共享,并没有显式处理单个智能体跨决策步时陈述性与工作记忆内容的更新。

KEEP 的复用率不低但成功率没有同步提升。论文把这一差距归因于它只做失效、而没有同时处理记忆内容更新与程序性适配器变化;从设计上看,分组失效也没有把块级依赖与适配器版本纳入兼容条件。HeMeR 的差别不在「谁淘汰得更聪明」,而在「谁把插入、淘汰与重排映射成可预测的局部重算,并把依赖与适配器纳入兼容条件」。

HeMeR 的差异在于:它把「记忆内容的身份、依赖、适配器」纳入 KV 兼容性条件,并用同一套索引同时处理内容更新与程序性切换。它仍然属于非前缀复用近似,论文也明确承认这一点,并用隐藏状态漂移与下一 token 分布的一致性来量化近似误差。

把服务策略写成一个优化问题

论文没有停在工程启发式上,而是把「如何复用 KV」形式化为服务策略 Π\Pi 的选择问题。对第 tt 步,Π\Pi 接收上一步的缓存 Kt−1\mathcal{K}_{t-1} 与当前记忆上下文 XtX_t,决定哪些 KV 状态复用、哪些重算。目标是

Π⋆=arg⁡max⁡ΠEτ∼D[Succ(τ;Π)−λ∑t=1TCost(Π,Xt−1,Xt)].\Pi^\star = \arg\max_{\Pi} \mathbb{E}_{\tau \sim \mathcal{D}} \left[ \mathrm{Succ}(\tau; \Pi) - \lambda \sum_{t=1}^{T} \mathrm{Cost}(\Pi, X_{t-1}, X_t) \right].

其中 τ\tau 是从任务分布 D\mathcal{D} 中采样的一次任务实例,TT 是该任务的决策步数,Succ(τ;Π)\mathrm{Succ}(\tau;\Pi) 表示任务是否成功,Cost(Π,Xt−1,Xt)\mathrm{Cost}(\Pi,X_{t-1},X_t) 表示从上一上下文更新到当前上下文时产生的推理计算量,λ\lambda 控制任务成功率与推理成本之间的权衡。

这个式子的意义在于把两类失败模式放在同一个目标里。只追求复用会降低 Cost\mathrm{Cost},但可能因缓存不兼容导致 Succ\mathrm{Succ} 下降;只追求正确性就退化成每步全量重算,Cost\mathrm{Cost} 居高不下。HeMeR 的所有设计——按块匹配、依赖传播、RoPE 重映射、适配器标识——都可以理解为在给定 λ\lambda 下提高这条曲线的前沿:在保持任务成功的前提下,尽量多复用兼容状态。

论文并没有在线求解这个优化问题,而是用一套确定性的差异计划近似它。真正被优化的对象是「哪些块算兼容」,而这由记忆模式字段定义。这种「把优化目标写成清楚的代价模型,再用规则实现」的做法,在系统论文里很常见,也便于工程复现。

块级 KV 重对账:差异计划如何落到缓存操作

块级 KV 重对账(Chunk-Level KV Reconciliation)负责陈述性与工作记忆内容的更新、插入、淘汰与重排。它的输入是上一步的上下文 Xt−1X_{t-1}、当前上下文 XtX_t 以及块级索引,输出是一份差异计划

Δt=DiffS(Xt−1,Xt).\Delta_t = \mathrm{Diff}_{\mathcal{S}}(X_{t-1}, X_t).

DiffS\mathrm{Diff}_{\mathcal{S}} 中的下标 S\mathcal{S} 表示比较依据是记忆模式而不是原始 token。匹配过程分两步:先按持久 ID 找到不同步之间的同一条记忆内容;再比较模块类型、语义角色、依赖标注、规范化内容和适配器标识。只有全部一致,才允许复用对应 KV 区间。

五种操作

差异计划把每个块归入以下操作之一:

  • 复用(Reuse):块身份与所有兼容字段一致,位置也未变,直接保留 KV 区间。
  • 重排(Reorder):块内容不变但位置改变,保留 KV 并做 RoPE 重映射。
  • 重算(Recompute):块内容、依赖或适配器变化,按当前位置重新计算 KV。
  • 插入(Insert):当前上下文新增的块,按当前位置 prefill 并分配新 KV 区间。
  • 淘汰(Evict):上一步存在、当前上下文不再需要的块,从缓存布局中移除。

这里有两个容易被忽略的工程点。

第一,依赖失效会传播。如果块 AA 依赖块 BB,而 BB 被重算,那么 AA 即使自身内容没变,也可能因为前驱表示变化而失效。论文在差异计划中把 Recompute 沿声明的直接与传递依赖传播,覆盖原本的 Reuse 或 Reorder 标记。这解释了附录中「依赖密度」实验为什么重要:依赖越密,受影响区间越大,复用率越低,但系统仍然比全量重算便宜。

第二,重算必须按当前顺序进行。算法先移除被淘汰区间,再按 XtX_t 的顺序遍历块:插入与重算的块在当前位置、使用已经对账好的前驱 KV 计算一次;重排块只搬移区间并修正键的相位;其余块保留。最后按 XtX_t 的顺序组装出 Kt\mathcal{K}_t。这个顺序保证了局部重算看到的前驱上下文与全量重算一致,而不是拿旧位置的缓存凑数。

举一个示意例子(不是论文中的原始轨迹),帮助把五种操作串起来。假设上一步的上下文按顺序是

[ c1: 杯子在桌上 | c2: 冰箱在左墙 | c3: 子目标=拿杯子 | c4: 观察=手为空 ]

当前步智能体拿到了杯子,工作记忆追加了「手中有杯子」,同时检索把「冰箱位置」提前。当前上下文可能变成

[ c4: 观察=手为空 | c1: 杯子在桌上 | c2: 冰箱在左墙 | c3: 子目标=拿杯子 | c5: 手中有杯子 ]

按持久 ID 匹配后:c1、c2、c3、c4 都还在,c5 是新增块。c4 从末尾移到开头,属于重排,但其内容与依赖没变,可以复用并做 RoPE 重映射;c1、c2、c3 因为前驱变化和新块插入发生了位置偏移,同样走重排路径;c5 是插入,需要在当前位置 prefill。若 c3 的依赖标注写明它依赖 c1(「子目标=拿杯子」的成立条件是「杯子在桌上」),而 c1 的内容若被更新,重算标记就会沿依赖传播到 c3,覆盖它原本的重排或复用标记。这个例子也说明了依赖标注的作用:没有依赖图,系统只能按位置猜测影响范围;有了依赖图,失效范围可以被精确限定。

对账计划的代价与边界

块级重对账不是免费的。每一步都要做 ID 匹配、字段比较、依赖传播、区间搬移与缓存组装。论文的测量给出了量级:对账计划本身从 37 微秒增到 310 微秒(块数 8 到 128),缓存组装从 0.7 毫秒增到 5.7 毫秒,相对重算的几十到几百毫秒仍然很小。真正决定收益的是复用率:如果每一步几乎所有块都变了,对账开销就会显得突出,系统应该退回全量重算。论文的失效比例实验正是在刻画这条边界。

另一个边界是块粒度。块太大,一条小更新会迫使整块重算,复用率下降;块太小,索引与依赖图的维护成本上升,RoPE 重映射的调用次数也增加。论文没有单独消融块粒度,这是工程实现中需要按记忆类型调整的参数:陈述性事实适合细粒度块,因为更新局部;工作记忆的连续观察适合按轮次成块,因为通常整段追加。

RoPE 重映射的推导

重排是具身记忆里非常常见的操作:新观察插到工作记忆前面,旧记录被移到后面,陈述性事实按相关性重新排序。位置变了,但内容没变,直接复用 KV 会出错,因为 RoPE 已经把位置信息编码进 Key。

RoPE 的做法是对 Query 与 Key 施加与位置相关的旋转。以二维子空间为例,位置 pp 上的旋转矩阵为

Rθ(p)=(cos⁡pθ−sin⁡pθsin⁡pθcos⁡pθ).R_{\theta}(p) = \begin{pmatrix} \cos p\theta & -\sin p\theta \\ \sin p\theta & \cos p\theta \end{pmatrix}.

注意力分数只依赖 q⊤kq^\top k。若 Query 位于位置 ii、Key 位于位置 jj,则分数中的位置项为 Rθ(i)qR_\theta(i)q 与 Rθ(j)kR_\theta(j)k 的内积,等价于只依赖相对位置 i−ji-j 的旋转。因此,当同一个 Key 从位置 pjp_j 移动到 pj′p'_j 时,只需把它的相位从 Rθ(pj)R_\theta(p_j) 改成 Rθ(pj′)R_\theta(p'_j):

k~j=Rθ(pj′)Rθ(pj)−1kj.\tilde{k}_j = R_{\theta}(p'_j) R_{\theta}(p_j)^{-1} k_j.

其中 kjk_j 是缓存在旧位置 pjp_j 的键,Rθ(pj)−1R_\theta(p_j)^{-1} 是逆旋转(对正交旋转矩阵即转置),k~j\tilde{k}_j 是重映射后位于新位置 pj′p'_j 的键。

这个式子的工程价值在于它只改 Key,不改 Value。Value 不参与位置相关的注意力打分,重排时原样保留即可;Key 的重映射是逐 token 的旋转,成本远低于重新做一次前向。论文的实现只对「除了位置以外所有模式字段都没变」的匹配块做重映射,任何内容、依赖或适配器变化都走局部重算,避免把不安全的复用伪装成位置调整。

对多模态主干还有一条额外约束:RoPE 重映射只作用于文本侧记忆块,当前观察产生的视觉 token 每一步正常编码,不做位置重映射。这既是因为视觉编码器的位置处理可能与文本 RoPE 不同,也是因为当前观察本身就是每步的新信息,没有复用的必要。

算法全貌

附录的算法 1 把上述流程串了起来,主干可以概括为:

输入: 当前观察 o_t, 目标 g, 历史 h_t, 上一步上下文 X_{t-1}, 上一步缓存 K_{t-1}
1. 从三类记忆模块检索 D_t, P_t, W_t,组合成 X_t
2. 为 X_t 的每个块建立索引:持久 ID、位置、token span、KV 区间、模式字段
3. 若 t=1 或无旧缓存:把 X_t 当作单条因果序列 prefill
4. 否则:
a. 计算差异计划 Delta_t,标记 Reuse / Reorder / Recompute / Insert / Evict
b. 把 Recompute 沿依赖关系传播到直接与传递依赖块
c. 从当前布局中排除 Evict 区间,按 X_t 确定各块新位置
d. 按 X_t 顺序遍历:Insert/Recompute 在当前位置重算;Reorder 搬移并做 RoPE 重映射;其余保留
e. 按 X_t 顺序组装 K_t
5. 更新块到 KV 的索引
6. 用 K_t 生成动作 a_t

第 4d 步「在当前位置、用已对账前驱重算」是算法里最容易被实现错的细节。如果先把所有块重算完再拼,局部块看到的前驱可能是旧缓存;如果按顺序处理,每个重算块的前驱都已经是当前上下文的正确表示,近似误差被限制在块边界内。论文的隐藏状态漂移分析也显示,HeMeR 的高漂移区域集中在少数受影响块,而不是扩散到整条序列。

适配器稳定重对账:LoRA 切换为什么会让缓存失效

程序性记忆在这篇论文里不是一段文本,而是 LoRA 适配器。智能体从「搜索」切到「加热」,本质上是换了一个低秩补丁。即使陈述性与工作记忆一个字都没改,旧适配器下算出的 KV 也可能与新适配器不兼容。

LoRA 如何改变 KV

LoRA 对权重矩阵 WW 施加低秩增量:

W′=W+αrBA,W' = W + \frac{\alpha}{r} B A,

其中 A∈Rr×dinA \in \mathbb{R}^{r \times d_{\mathrm{in}}} 是下投影,B∈Rdout×rB \in \mathbb{R}^{d_{\mathrm{out}} \times r} 是上投影,rr 是秩,α\alpha 是缩放系数。输入 xx 经过适配器后的输出为

W′x=Wx+αrB(Ax).W' x = W x + \frac{\alpha}{r} B(Ax).

把 LoRA 分别挂到 Query、Key、Value 投影上,会得到三个不同的投影:

q=Wqx+αrBq(Aqx),k=Wkx+αrBk(Akx),v=Wvx+αrBv(Avx).q = W_q x + \frac{\alpha}{r} B_q(A_q x), \quad k = W_k x + \frac{\alpha}{r} B_k(A_k x), \quad v = W_v x + \frac{\alpha}{r} B_v(A_v x).

KV Cache 缓存的是 kk 与 vv,不缓存 qq。因此适配器对三者的影响并不对称:

  • 若 Key 也挂 LoRA,旧缓存中的 kk 来自旧适配器,切换后必须重算所有受影响的 Key。
  • 若 Value 挂 LoRA,旧缓存中的 vv 同样来自旧适配器,必须重算。
  • Query 每一步都会重新计算,不进入缓存,所以 Query 上的适配器变化只影响当前步的注意力权重,不会留下陈旧缓存。

HeMeR 采用 LRAgent 的共享注意力 LoRA 设计:秩为 8,适配器作用于 Query 与 Value 投影,所有适配器共享同一个下投影,只有上投影按适配器区分;Key、输出投影与 MLP 路径保持共享;激活的适配器作用于整条前向序列,而不是只作用于程序性记忆 token。用上面的分解来说,AqA_q、AvA_v 共享,BqB_q、BvB_v 按适配器区分,kk 完全共享。这让 Key 缓存天然跨适配器兼容,但 Value 缓存仍然带适配器版本——这就是「限制但不消除」跨适配器漂移的含义。

因为 Value 缓存按适配器版本失效,HeMeR 必须把适配器标识写进块的兼容性条件:对程序性块而言,只有块记录中的适配器标识与当前激活适配器一致,才允许复用;其他块按共享注意力设计近似复用,但适配器标识仍然是兼容条件的一部分。注意,「激活的适配器作用于整条序列」还有一层含义:即使某些陈述性块与程序性技能无关,它们的 Value 也是在当前适配器下算出来的,所以适配器切换时不能只盯着程序性块。HeMeR 的处理方式是重算程序性块及其依赖块,其余块按共享注意力设计近似复用,并用适配器标识兜住明显不兼容的情况。

切换时重算什么

当程序性记忆内容变化导致适配器切换时,差异计划把这次变化标记为程序性更新。HeMeR 重算程序性记忆块自身的 KV 区间,并沿依赖标注重算它的直接与传递依赖块;其他未受影响的区间继续复用。

这里的设计取舍很清楚:不能因为换了适配器就全量重算,也不能假设适配器对 KV 没有影响。 前者丢掉所有复用收益,后者会复用来自不兼容适配器的状态。把适配器标识纳入块级索引,相当于给缓存加了一个「版本号」,只有版本匹配的块才进入复用集合。

论文附录给出了一个很有说服力的压力测试:强制每一步都切换适配器时,启用适配器稳定重对账的 HeMeR 仍保持 77.9% 的 KV 复用率;关闭该机制后复用率降为零,延迟退化到全量重算的水平。这说明适配器切换并非罕见的边角场景,而是具身任务中的常态,能否稳定处理它直接决定系统有没有实用价值。

与 LRAgent 的分工

LRAgent 是这篇论文的直接对照:它面向多 LoRA 智能体,把缓存分解为共享主干基座分量与适配器相关分量,从而在适配器切换或智能体之间共享 KV。HeMeR 的增量在于把适配器兼容性与陈述性、工作记忆的块级重对账放进同一个差异计划。用论文的话说,LRAgent 主要处理程序性变化,没有显式处理交互过程中陈述性与工作记忆内容的更新;HeMeR 把两类变化统一到「块是否兼容」这一个判断上。

这个统一带来了实现上的简洁性:不需要为「内容更新」和「适配器切换」写两套缓存管理逻辑,只需要在模式字段里多加一个适配器标识,并让依赖传播覆盖程序性块。工程上,这比维护两条独立的失效路径更容易调试,也更不容易出现「一种变化绕过了另一种变化的失效检查」这类漏洞。

实验:模拟环境与真实机械臂

设置

论文在三个环境评估:

  • ALFWorld:文本具身环境,使用 Llama-3.2-3B-Instruct 作为主干,贪心解码。
  • EmbodiedBench Habitat:视觉 3D 环境,使用 Qwen3-VL-4B-Instruct 原生处理 RGB 观察。
  • Real-world:UR7e 机械臂桌面操作,两个长程任务、两个桌面环境,每个任务五次独立物理重复,共 10 次试验;初始物体位置与指令措辞都会变化。

模拟器中的评测 episode 都是「未见过的组合」:没有任何单条记忆片段直接覆盖所需的「流程—房间」组合,智能体必须把不同情境下的碎片记忆拼起来。这正好放大了记忆上下文动态更新的频率。

对照方法覆盖了智能体推理、记忆检索、KV 复用与适配器切换四条线:ReAct、Reflexion、MemRL、CacheBlend、KEEP、LRAgent。所有方法共享同一主干、任务划分、解码配置、动作接口与最大步数预算;记忆类基线拿到相同的记忆内容池;缓存类基线面对相同的记忆上下文更新序列。

指标有六个:任务成功率(SR)、每步延迟、首 token 时间(TTFT)、KV 复用率、有效动作比例、动作多样性。

主结果

在 ALFWorld 上,HeMeR 达到 71.43% 成功率、每步 0.18 秒,MemRL 是 52.86%、0.90 秒;复用率 75.30%。在 Habitat 上,HeMeR 为 76.27%、每步 1.82 秒,MemRL 为 61.80%、2.68 秒;复用率 72.81%。真实场景中,HeMeR 的目标条件成功率 83.20%,每步 1.87 秒,MemRL 为 64.28%、2.94 秒;复用率 72.18%。

这些数字里有两个维度需要拆开看。

第一,成功率与延迟同时改善,而不是用质量换速度。缓存里保留的是与当前记忆上下文兼容的状态,省掉的计算本来就不该算。MemRL 每步把检索到的情节记忆整段追加为输入,无法按记忆内容逐块判断哪些仍然适用;HeMeR 通过块级索引保留与当前目标相关的块,决策上下文更干净。论文用有效动作比例与动作多样性支持这一点:ALFWorld 上 HeMeR 的有效动作比例为 67.69%、动作多样性为 71.43%,MemRL 分别是 46.26% 与 65.05%。

第二,复用率与成功率不是单调关系。CacheBlend 在 ALFWorld 上复用率 50.30%,成功率 48.39%;KEEP 复用率 48.30%,成功率 51.81%;LRAgent 复用率 48.50%,成功率 46.43%。它们都复用了相当一部分 KV,但成功率没有同步提升,因为复用的边界与记忆语义不对齐。HeMeR 的 75.30% 复用率背后是「按记忆块身份判断兼容」,这才让复用真正转化为决策质量。

HeMeR 成本效率与失效比例实验:TTFT 随记忆增长更平缓,失效比例升高时仍保留更高复用率

图 3 的两个子图分别看两件事。左图(A)的横轴是记忆上下文中的块数,纵轴是 TTFT:全量重算(Full Rebuild)增长最陡,CacheBlend、KEEP、LRAgent 有部分改善但受限于各自的复用假设,HeMeR(Ours)的曲线最平。右图(B)的横轴是失效比例 ρ\rho,即相邻两次决策之间受影响的记忆块比例,纵轴是 KV 复用率。基线在失效比例升高时复用率快速下滑,HeMeR 平均保持约 1.8 倍于基线的复用率,在最大失效比例下仍保留超过一半的初始复用。这两张图说明收益来自「把更新局部化」,而不是「碰巧缓存命中率高」。

操作级成本分解

论文把 ALFWorld episode 中收集到的记忆更新序列重放,按操作类型统计成本,结果如下(节选关键列):

操作HeMeR 事件数HeMeR token 数HeMeR 时间(秒)全量重算 token 数全量重算时间(秒)
复用5,16764,1280.00—
重排5286,4370.00—
重算4184,21912.974,784186.5
插入4085,35812.45,35812.4
淘汰1131,7420.01,7420.0
组装——0.5—0.5
合计6,63481,88425.881,884199.4

这张表是全文最有信息量的实验之一。它显示:78.3% 的处理 token 被复用,7.9% 通过 RoPE 重映射搬移,两者都不需要重算;真正重算的只有 4,219 个 token,占全量重算在同一更新序列上处理的 74,784 个 token 的 5.6%。插入与淘汰的成本按构造与全量重算相同,因此从 199.4 秒降到 25.8 秒的差额,几乎全部来自「避免了对模式兼容区间的重复计算」。缓存组装只花 0.5 秒,说明索引与拼接的开销相对重算可以忽略。

这里要注意口径:主表里的复用率是每个 episode 的逐步平均,而这张表的 token 数是所有重放更新的汇总,两者不能直接相除比较。论文特意提醒了这一点,读的时候不要混用。

消融:三个部件各自负责什么

ALFWorld 上的消融结果:

变体成功率每步延迟复用率
完整 HeMeR71.43%0.18 s75.30%
去掉记忆模式62.67%0.38 s51.39%
去掉块级重对账59.40%0.47 s42.75%
去掉适配器稳定重对账64.85%0.28 s66.40%

三种移除方式揭示了不同失效模式:

  • 去掉记忆模式:块与 KV 区间的对应关系丢失,系统无法可靠判断哪些内容仍然可复用,复用率减半,成功率下降约 9 个百分点。
  • 去掉块级重对账:插入、淘汰、重排不能再被局部处理,只能扩大重算范围,成功率降到 59.40%,延迟升到 0.47 秒,是退化最严重的一项。
  • 去掉适配器稳定重对账:复用率仍有 66.40%,看起来不低,但成功率降到 64.85%。这正是「复用了不兼容状态」的典型症状:缓存命中率骗过了指标,决策质量却下降。适配器标识必须进入兼容性条件,否则高复用率是虚假的。

真实机器人场景的任务形态

真实世界的两个长程任务都发生在桌面操作台上,任务需要智能体把不同来源的记忆拼起来:陈述性记忆提供物体与容器的位置关系,程序性记忆提供当前应选的技能适配器,工作记忆记录刚刚完成的子目标。

双区厨房-咖啡台环境:厨房区与咖啡区各绑定一个 LoRA 适配器

第一组试验是「双区厨房—咖啡台」(dual-section kitchen-café,论文附录图 7),任务是做一杯香草美式咖啡并烤一片吐司。工作区分为厨房区与咖啡区:厨房区有面包片、锅铲、煎锅与饼干,咖啡区有杯子、香草糖浆瓶、经典糖浆瓶、咖啡机与饮水机。每个区绑定一个独立的 LoRA 适配器,对应厨房侧的食物准备与咖啡侧的饮料制作两类程序。智能体要在同一段长程策略里协调两个区的适配器切换与异质记忆,这会让程序性块频繁切换、陈述性与工作记忆的块频繁插入与重排,正是块级重对账与适配器稳定重对账共同作用的场景。

单区饮料台环境:连续制作六杯冰咖啡,需监控冰块状态变化

第二组试验是单区饮料台(论文附录图 8),任务是在同一工作台连续制作六杯冰咖啡。与第一组不同,这里重复使用同一套饮料制作流程,程序性适配器基本不变;难点在动态物体状态:同一个冰容器被多次复用,冰的数量与状态会随时间变化,智能体必须识别冰是否充足、是否融化或耗尽,并据此调整后续动作。它检验的是工作记忆的高频更新与陈述性事实的局部重算——内容变了就重算受影响块,没变的冰勺位置、糖浆瓶位置继续复用缓存。

隐藏状态漂移

隐藏状态漂移热图:HeMeR 的偏差集中在受影响块附近,基线则沿边界或后段扩散

附录图 9 是本篇最重要的可视化之一。它以全量重算为参照,计算各方法在每一层、每一个 token 位置上的隐藏状态 L2 距离

Driftℓ,i=∥hℓ,imethod−hℓ,ifull∥2,\mathrm{Drift}_{\ell,i} = \left\| h^{\mathrm{method}}_{\ell,i} - h^{\mathrm{full}}_{\ell,i} \right\|_2,

其中 hℓ,imethodh^{\mathrm{method}}_{\ell,i} 是第 ℓ\ell 层、第 ii 个 token 位置使用该方法的缓存更新规则后得到的隐藏状态,hℓ,ifullh^{\mathrm{full}}_{\ell,i} 是全量重算的对应状态。热图中越亮的区域表示与全量重算的表示偏差越大。可以看到 CacheBlend 的亮区贴着可复用段的边界,KEEP 的偏差向后续位置扩散,LRAgent 在后段逐渐累积;HeMeR 的亮区被限制在少数受影响的记忆块附近,其余区域接近全量重算。

附录里的几个关键补充

主文之外,附录提供了几组对工程判断更有帮助的分析。

偏差随更新的累积。在连续 30 次记忆更新(更新类型分布与 ALFWorld 一致)后,隐藏状态与全量重算的余弦相似度:朴素复用从 0.993 总体降到 0.949,中途在 20 步处回升到 0.971,这次回升来自淘汰把已变化的内容连同其累积偏差一起移除,并不是缓存被修正;CacheBlend 按 5 次更新的边界周期重算,数值随距最近一次重算的距离波动;HeMeR 在第 30 步回到 0.974,因为每次内容变化与适配器切换都会刷新受影响区间,累积偏差被复位。结论并不是 HeMeR 没有偏差,而是偏差被局部化并且可控。

非前缀复用的近似质量。表 18 比较不同更新模式下与全量重算的偏差:重排的 Key 余弦相似度 0.973、隐藏状态余弦 0.985;在复用区间前插入的隐藏状态余弦 0.990;淘汰的隐藏状态余弦 0.984;内容变更与适配器切换由于触发重算,KL 散度低于 0.01。淘汰造成的输出偏差最大,重排造成的 Key 偏差最大,这两个结论直接指出了系统最需要监控的操作类型。

干扰动作候选下的鲁棒性。论文向决策上下文注入无关但合法的动作候选,测量任务成功率与成本随噪声比例的变化。从 0% 到 100% 噪声,成功率只从 71.43% 降到 68.70%,延迟从 0.18 秒升到 0.42 秒,复用率仍高于一半,TTFT 从 21.59 毫秒升到 48.02 毫秒;噪声到 150% 以后成功率快速下滑(53.29%),到 300% 时只剩 15.30%。这组数据说明 HeMeR 在合理的候选集合扩张下能保持决策行为,但缓存复用不能代替对上下文质量的管理:无关内容太多时,受影响块增加,复用率与成功率一起下降。

内存与依赖的扩展性。块数从 8 增到 128、每步更新 10% 时,HeMeR 相对全量重算的单步成本从 0.330 降到 0.206;128 块时峰值显存 22.0 GB,全量重算为 46.8 GB。对账计划的耗时从 37 微秒增到 310 微秒,缓存组装从 0.7 毫秒增到 5.7 毫秒,仍然远小于重算成本。

依赖密度。依赖密度从 0% 增到 100% 时,复用率从 85.4% 降到 61.3%,相对成本从 0.247 升到 0.368。依赖声明越密,失效传播范围越大,这是设计上的必然代价;但只要依赖图准确,系统仍然显著优于全量重算。

适配器池开销。每个适配器约 9.18 MB,64 个适配器的池约 587.2 MB;强制每步切换时仍保持 77.9% 复用率。这说明「适配器标识」这套机制的内存代价可控,主要成本在适配器本身,而不是索引。

逐步延迟分解。在 ALFWorld 上做端到端剖析,HeMeR 与全量重算的 TTFT 差异几乎全部落在局部重算:从 267.4 毫秒降到 39.5 毫秒;记忆检索、prompt 构造、KV 对账与尾部 prefill 的成本基本相同,解码成本也基本持平(约每 token 24 毫秒)。总延迟从 1,287.5 毫秒降到 1,043.3 毫秒,减少的 227.9 毫秒局部重算几乎解释了 228.2 毫秒的 TTFT 改善。这个分解排除了「HeMeR 偷偷优化了别的环节」的可能。

这套设计真正解决了什么

把 HeMeR 放回更大的技术图景,它解决的是一个正在变得普遍的问题:Agent 的上下文不再是「一次请求一个 prompt」,而是持续演化的工作集。 传统推理服务假设请求之间彼此独立,前缀缓存只处理稳定前缀;Agent 运行时却不断插入工具结果、更新记忆、切换技能。HeMeR 给出的答案是给上下文建立身份与依赖,把缓存失效从「位置之后全部作废」改成「按内容兼容性局部作废」。

这套思路可以迁移到具身之外的场景。任何「结构化上下文 + 频繁局部更新」的 Agent 运行时都适用:代码 Agent 的文件树与工具输出、客服 Agent 的会话记忆与知识库片段、多轮 RAG 的检索文档集合。真正需要的是三样东西:稳定的内容身份、可声明的依赖关系、以及能表达版本(适配器)的兼容性条件。缺了任何一样,系统都会退回到「要么全量重算,要么冒险复用」。

论文也留下了明确的边界。评估集中在单智能体、小参数主干(3B/4B)与顺序决策步;多智能体共享记忆的并发更新没有处理,作者将其列为后续扩展方向。非前缀复用仍然是近似,论文用漂移与 KL 量化了误差,但没有给出形式化的正确性保证。块级依赖需要人工或上游系统声明,依赖图错了,失效传播也会错。这些都是落地时需要正视的前提。

从调度视角看,HeMeR 还揭示了一个容易被忽略的收益来源:减少的是 prefill 而不是 decode。逐步延迟分解里,两种方法的解码成本都约为每 token 24 毫秒,TTFT 差异几乎全部落在局部重算,尾部 prefill 也基本持平。这意味着 HeMeR 不会改变生成阶段的行为,只会缩短「把上下文准备好」的时间。对具身智能体而言,这段时间决定了控制回路能否及时闭合;对普通推理服务而言,它就是 TTFT。凡是上下文长、更新频繁、生成短的工作负载——Agent 工具调用、多轮检索问答、长程规划——都会受益于同一套思路,而一次性长文本生成并不会。

对推理框架而言,HeMeR 的启示不在于某个具体数据结构,而在于把「缓存兼容性」从隐式假设变成显式字段。vLLM、SGLang 的多 LoRA 服务已经证明适配器可以池化、可以批内共存;本站的 SGLang 多 LoRA 服务拆解 与 vLLM 多 LoRA 服务拆解 讨论了适配器槽位与低秩核。HeMeR 在此基础上多走了一步:不仅要知道「当前用哪个适配器」,还要知道「这段缓存是在哪个适配器下算的」。当 Agent 上下文开始跨步演化,这种带版本的缓存索引会变得越来越必要。

小结

HeMeR 的核心可以压缩成三句话:

  1. 具身智能体的记忆上下文在相邻决策步之间大部分不变,朴素全量重算浪费了这部分计算。
  2. 把记忆内容表示成带持久 ID、依赖、适配器标识与 KV 区间的类型化块,就能把「哪些缓存还能用」变成一个可判定的差异问题。
  3. 对纯位置变化做 RoPE 重映射,对内容、依赖与适配器变化做局部重算,就能在保持决策质量的同时把每步推理成本降下来。

论文用 ALFWorld、Habitat 与真实 UR7e 实验支持了这三点:真实场景 83.20% 成功率、每步 1.87 秒,ALFWorld 上 75.30% 的 KV 复用率;在更新序列重放实验中,需要重算的 token 仅占全量重算同一序列的 5.6%。它还揭示了 Agent 推理系统的一个关键问题:当上下文成为持续演化的工作集,缓存管理必须理解内容,而不只是理解位置。

参考资料

  1. HeMeR: Heterogeneous Memory Reconciliation for Embodied Agents via Structured KV Reuse
  2. HeMeR arXiv HTML 全文
  3. CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion
  4. KEEP: A KV-Cache-Centric Memory Management System for Efficient Embodied Planning
  5. LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents
  6. ALFWorld: Aligning Text and Embodied Environments for Interactive Learning
  7. EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents
  8. vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
  9. RoPE: RoFormer: Enhanced Transformer with Rotary Position Embedding
  10. LoRA: Low-Rank Adaptation of Large Language Models

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

HeMeR 完全拆解:异质记忆的 KV 重对账,具身智能体如何跨决策步复用缓存(NeurIPS 2026 Oral)
https://pinghaoyang.com.cn/articles/insights/posts/hemer/
作者
平昊阳
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录