世界模型从零讲起(二十):把世界带到下一个会话——跨会话世界状态迁移

10507 字
53 分钟
世界模型从零讲起(二十):把世界带到下一个会话——跨会话世界状态迁移

第十九篇把误差放进了闭环,得出结论:同一个预测偏差在闭环里会被改写成有界噪声、稳态偏移或一次偏离,而工程上真正能控制的不是模型精度本身,是环路里每一项增益。那是一个会话之内的误差演化。

这一篇接着第十九篇结尾点出的那条线索:一个会话里积累的世界状态,怎么带到另一个会话去。机器人关机再开机、巡检机器人跨天执行同一条路线、仿真里的世界模型把学到的场景交给真机的世界模型——这些都不是”共享同一时刻的状态”(第十八篇讲的是那个问题),而是把”走过这个世界的经验”带走。这件事比看起来难:要迁移的不只是地图坐标,还有”哪里可能变、哪里几乎不变""上次走到那里时机器人是怎么被卡住的""这个场景的语义是什么”;而迁移过去之后,副本可能已经过期,也可能被改动过,接收方必须知道该信多少。

先把前文接上。第一篇给出了世界模型的形式化:一个由状态转移 P(s′∣s,a)P(s' \mid s, a)、观测 O(o∣s)O(o \mid s) 与回报构成的 POMDP 近似。第二到第五篇分别讲了 Dreamer 的潜空间想象、JEPA 的表征预测、视频生成式世界模型与 WAM 的联合生成。第六到第十篇是评测、部署与推理成本。第十一到第十四篇讲的是更底层的建模风格:Dyna/PILCO、几何式、物体中心、分层。第十五篇把系列的杠杆收成一张预算地图。第十六、十七篇讲动作接口与长程记忆——第十七篇给出了记忆的四种载体(循环状态、上下文、外部记忆库、慢权重)和记忆成本账。第十八篇讲同一个世界的多入口并发。所以”跨会话迁移”不是从零开始的新话题,而是第十七篇已经摆出来的那座记忆库里”存下的东西怎么换一个会话继续用”。

问题的边界:跨会话和”共享状态”差在哪

先把三个容易混的概念分开。

共享状态(第十八篇):两个入口在同一时刻读写同一个世界。约束是不变量与写入协议——两条动作线不能同时把同一个物体写到两个位置。

长程记忆(第十七篇):一个会话内部,世界模型要记住很久以前的观测。约束是检索——有用的历史在库里,要有办法取出来。

跨会话迁移(本篇):一个会话结束时,把它对世界的理解”封装”成一个可以交给下一个会话的东西;下一个会话开始时,先接手这份理解,而不是重新感知一遍。

三者最关键的区别在于时间空档。共享状态的时间是连续的,长程记忆的空档在一个会话内、可以被动作和观测连续填补;跨会话的空档里,世界自己在变,而没有任何观测。第十一篇讲过的 Dyna 式”在真实环境之外再想象一步”之所以可行,前提就是世界在两次观测之间会自己演进;跨会话时,这段自变量的长度是几天、几次维护、几轮重启,远超任何一次 rollout 的视野。于是迁移的核心矛盾不是”怎么存”,而是”存下来的东西,过了这么久还算不算数”。

一个具体的例子把这个空档有多麻烦说清楚。一台巡检机器人每天执行同一条路线,它第一天建好的地图是当天的世界状态。第二天它开机时,地图大概率仍然大致正确(建筑没动),但有三类东西已经不一样了:

  1. 静态但可能被改动的东西:货架挪了位置、门被关上了、某段通道摆了临时物料。
  2. 动态且不可预测的东西:人、叉车、地面上的杂物。
  3. 本体自身的状态:底盘里程计的零偏、轮径磨损、传感器标定——这些让同一张地图在不同本体上”读出来”不一样。

如果第二天直接拿第一天地图定位,第一类会导致定位失败或撞到障碍;第二类会频繁触发误报;第三类会让整张地图系统性偏移。三种失效对应三种完全不同的处理:第一类要让地图具备”可改写”能力,第二类要在地图之外加一层时效性的动态层,第三类要先做本体校准再定位。跨会话迁移的本质,是设计一个契约,告诉接收方上面三类信息各该信到什么程度。

一个已经成熟的参照:多会话 SLAM 的 Atlas

这套问题在视觉 SLAM 里被认真处理过,而且处理方式与今天的世界模型迁移是同一族思路。ORB-SLAM3(Campos 等 2020 年,arXiv:2007.11898,发表在 IEEE T-RO)提出了 Atlas:第一个能同时处理单目、双目、视觉-惯性的完整多地图系统,它的设计目标就是”自动使用并组合不同时间建立的地图,实现增量式多会话 SLAM”。

读 Atlas 的结构,可以看清楚”迁移契约”里哪些部件是必须的。

ORB-SLAM3 系统总览:Tracking、Local Mapping、Loop and Map Merging 三个线程与 Atlas 数据库

上图是 ORB-SLAM3 论文的系统总览。右侧的 Atlas 是数据库,存着一组互不连通的子地图;左侧 Tracking 线程的”Relocalization”一分支,在跟踪丢失时会去 Atlas 里查找”我现在在哪一张地图里”;下方的 Loop & Map Merging 线程负责在发现两段轨迹其实相交时,把两张地图对齐并合并。整个流程看起来像一个常规 SLAM 系统,关键差别在 Atlas 那一块:地图不是”一张”,是”一叠”,每一张都有自己的生命周期。

ORB-SLAM3 在 TUM 室外序列上的多会话地图:单次会话轨迹与多次会话处理后的轨迹叠加

上面这张是论文中的多会话视觉-惯性结果(TUM-VI 室外序列,俯瞰视角):红色是单次会话处理得到的轨迹,蓝色是”先跑一段、再跑另一段”的多会话处理结果。两条轨迹被系统自己连接并对齐到同一张地图里——“重新初始化”和”重新定位”在单地图系统里是二选一的退路,在 Atlas 里是可以两头并存的状态。单地图系统的失败模式很直接:跟踪一丢,要么在原地重开一张新地图(旧信息全弃),要么放弃使用地图(纯里程计)。而迁移问题是”旧地图还在,但要判断它现在可不可信”,单地图结构没有表达这种”可信度”的位置,Atlas 用多层地图给出来。

地图合并这一环尤其值得看清楚,因为跨会话迁移最难的正是这一步:两份状态怎么并成一份。下图是 ORB-SLAM3 对视觉地图合并的说明,标出了待合并的两张图 MaM_a、MmM_m 各自的局部地图点,以及它们共享的那些观测。

ORB-SLAM3 视觉地图合并:两张子地图的局部地图点与共享观测

论文的合并流程可以归纳成四步。第一步是发现:用 DBoW2 词袋做场景识别(Place Recognition),在 Atlas 里找到一张”看起来像当前场景”的候选子地图。第二步是对齐:单目地图是尺度不确定的(Sim(3)),视觉-惯性地图尺度已知、是 SE(3),对齐要在对应的李群上求一个变换。第三步是焊接:两张地图中观测到同一批地标的关键帧被选出为一组”焊接帧”(welding window),它们之间的位姿图被加上一条本不存在的边——这条边就是两张地图之间的连接,之后所有位姿会沿位姿图传播。第四步是融合:合并后的地图里重复的地标要合并,重复的关键帧要裁剪,再跑一次全局 BA。

对齐这一步的数学:一个变换、两份协方差

“对齐”在工程上经常被简化成”求一个刚体变换”,但跨会话迁移里,对齐结果带着不确定性,这个不确定性必须往下传。把两张子地图记作 AA 与 BB,对齐就是找

Bp=s R Ap+t{}^{B}p = s\,R\,{}^{A}p + t

其中 R∈SO(3)R \in SO(3) 是旋转,t∈R3t \in \mathbb{R}^3 是平移,ss 是尺度。视觉-惯性系统里 s=1s=1,退化成 SE(3);纯单目里 ss 未知,是 Sim(3)。R,t,sR, t, s 一起由”两张地图里被判定为同一地标的观测”通过最小化重投影误差解出来。

关键在于这个解并不可靠到可以无条件使用。设地图 AA 中一个点的位置协方差是 ΣA\Sigma_A,对齐本身的估计协方差是 ΣT\Sigma_T,那么传到地图 BB 后的协方差是

ΣB=s2R ΣA R⊤+ΣT\Sigma_B = s^2 R\,\Sigma_A\,R^{\top} + \Sigma_T

第一项是”原点本来就不准”,第二项是”对齐不准”。两项的相对大小决定了迁移后该不该信任这个点:如果 ΣT\Sigma_T 比 ΣA\Sigma_A 大一个数量级,说明对齐本身比地图还不可靠,此时即便两张图”对上了”,也不应该把地图 AA 的点当作地图 BB 的先验。工程上的判据是马氏距离:新观测 zz 与由地图预测的观测 h(x)h(x) 之间的残差要满足

d2=(z−h(x))⊤S−1(z−h(x))<χ3,0.952d^2 = \big(z - h(x)\big)^{\top} S^{-1} \big(z - h(x)\big) < \chi^2_{3, 0.95}

其中 S=HΣBH⊤+RsensorS = H\Sigma_B H^{\top} + R_{\text{sensor}},HH 是观测模型对状态的雅可比,RsensorR_{\text{sensor}} 是传感器噪声。超过阈值就拒绝关联,而不是降低权重硬用——这一点在多会话 SLAM 的”焊接”实现里是硬性保护。

数据关联也有同样的阈值结构。新地图里的一个地标要不要和旧地图里某个地标合并,靠两个条件同时成立:描述子足够近(外观像),且几何位置在该地标协方差允许的范围内(位置对得上)。只满足外观、不满足几何,往往是重复结构——长走廊、成排的货架会让场景识别给出多个几乎一样的分支。这种多模态的匹配必须靠序列来消歧:看连续几帧的位姿关系是否与旧地图中的一段轨迹一致,而不是看单帧。图优化里的做法就是把候选位姿作为多个初始值,逐个做局部优化,取残差最小的那个分支;如果几个分支的残差都接近,就说明当前信息不足以判断,宁可先不合并。

这一节可以压成一条工程规则:对齐不是一个变换,是”变换 + 协方差”;迁移不是一个点,是”点 + 它的置信椭球”。 只迁移点、不迁移椭球,接收方会用错误的精度去用它。

这四步其实是任何跨会话迁移系统都绕不开的动作的 SLAM 版:发现、对齐、焊接、融合。后面的世界模型部分会看到它们在不同层面被重新实现——对齐在潜空间里变成了”特征匹配”,融合在状态层面变成了”权威状态仲裁”。

Atlas 给的第一条结论是:地图不是一份,是一组带连接关系的子地图。 第二条是:连接本身是一种可以计算的、可以优化的量,而不是一个前提条件——两张当时对不上的图,一旦发现观测重合,就能被焊到一起。跨会话迁移要做的事,是在这两条之上再加一条时间维度:不仅”能不能连上”,还要”连上的部分现在是不是还成立”。

需要迁移的状态:按”会变多少”分层

Atlas 迁移的是几何地图。世界模型要迁移的状态比几何地图厚得多。按第十七篇的载体划分,一个会话结束时可能留下四类东西:循环状态(隐变量)、上下文(推理时的 KV/对话历史)、外部记忆库(视频记忆、位姿索引的记忆单元、场景图)、慢权重(会话中改写的参数)。逐类看它们的迁移特性,差异非常大。

循环状态迁移最便宜,也最危险。Dreamer 的 RSSM 隐状态 ht,zth_t, z_t 是对当前信念的压缩,它的含义完全依赖”上一次更新它的时候看到了什么”。把它原样带到新会话,相当于告诉模型”你上一刻还在某处、刚看到某个画面”,但新会话的第一帧可能完全不同。直接复用的后果是前几步的预测被一个过期的信念带偏——这恰好是第十九篇讲的东西:用错误的 dtd_t 起跑,闭环要么第一步就修正掉,要么在反馈里被放大。实践上一般不迁移循环状态,或者只迁移它的”摘要量”(比如”当前在高噪声环境中”这种与具体时刻弱相关的标志位),把它当成先验而非初值。

上下文(KV 缓存、对话历史)迁移的成本是可以算出来的。注意力里的 KV 是逐 token 存的,迁移就是把这批 KV 搬过去并接到新序列前面。它的问题是”什么时候失效”:KV 对应的是某个具体观测序列,如果新会话的观测与它不再匹配,这些 KV 就不再是”记忆”,而是噪声。第十七篇把上下文记忆的三个成本讲清楚了(显存、命中率、失效窗口),迁移时这三个成本会再一次乘以”副本数量”——同一份 KV 被投给两个会话,两份都会把过期信息当有效信息用。可迁移的上下文必须自带一个时间戳和一个可撤销的标记,接收方能在使用前判断”这条 KV 是多久以前的”。

外部记忆库是迁移的主力。第十七篇的 WorldMem 给记忆单元配了位姿与时间戳;几何记忆(第十二篇)把”记住画面”换成”记住场景”;场景图(ConceptGraphs,Gu 等 2023,arXiv:2309.16650)把场景表征成带语义标签的物体与关系图。这几类东西迁移起来各有好处:WorldMem 的图片记忆天然带位姿,接收方可以直接做”按位姿检索”(第十七篇讲的检索方式);几何记忆只存场景结构,对光照、遮挡、动态物体鲁棒,迁移过去也基本仍然成立;场景图的节点是语义物体,迁移时甚至可以只传语义部分、不传几何——“这里有个货架、货架上放着盒子”在新会话里仍然成立的概率很高,而”货架在这里”可能不成立。

慢权重迁移最重、最慢,但最「可压缩」。它迁移过来之后,接收方相当于”继承了这个会话学到的经验”,比如某个场景的动力学偏置(地面湿滑时机器人的实际滑移比标称值大)、某种任务的奖励形状。它的难点在于不可回滚:一旦写进权重,要判断它在新会话里是否仍然成立就没法做了,除非留一份”会话前权重”。

把这四类整理成一张表,可以看到它们的关系:

载体迁移成本失效速度可撤销性适合迁移的部分
循环状态极低第一步就可能失效天然可撤销(不迁移即可)与时刻无关的先验标志位
上下文 KV中(显存乘副本)随观测变化,周期短可用屏蔽/撤销标记最近一批带时间戳的观测
外部记忆库高(存储 + 检索)与元素相关,分层可逐元素删除几何结构、场景图语义、带位姿的时间戳记忆
慢权重最高最慢需预留基准,否则难撤销场景级的动力学/奖励偏置

这张表的排序和”迁移后价值”的排序是反的。最容易迁移的往往价值最低,最难迁移的价值最高。工程上常见的错误是把”最容易迁移的东西都迁移过去”,结果接收方拿到的是一堆过期信念、而真正有价值的场景结构没有过去。正确的做法是双向取舍:先决定”这一会话里哪些理解值得带到下一个会话”,再倒推该用哪类载体承载它。

迁移契约:接收方到底该信什么

到这里可以看出,跨会话迁移不是一个”传文件”的操作,而是一个协议设计问题。把它写成一个显式契约,接收方拿到的不只是状态,还有与状态一起的、回答”该信到什么程度”的元数据。

契约至少要回答五个问题。为了不让它停留在抽象层,逐条用巡检机器人的例子讲:

问题一:这是什么状态,用什么坐标系、什么时间基准。 一张地图必须带上坐标系(世界系?本体启动系?)和时间戳(建图结束时刻)。Atlas 的子地图天然满足前一半——每张地图是一个独立的坐标世界;时间戳则要额外加。没有时间戳的状态在迁移后无法判断新旧,接收方要么盲目信任、要么全盘重来,两种结果都很差。

问题二:它对”世界会变”的假设是什么。 一张用 ORB-SLAM3 建的地图隐含假设”场景是静态的”。用动态物体遮挡过的路面建出来的地图,会把叉车当成永久障碍物。迁移时这个假设必须写出来,否则接收方会继承一个错误的静态性判断。工程上对应的做法是给每个地图元素标一个”静态性等级”:强静态(建筑立柱)、弱静态(货架)、动态(人、车)。接收方在处理弱静态元素时可以更宽松地匹配,处理动态元素时直接剔除。

问题三:哪些部分有证据支撑、哪些部分是外推。 映射里一个区域是否被真实观测到过,决定它是”建出来的”还是”补出来的”。第十七篇讲几何记忆时提过,占用栅格会区分”未知”与”空闲”。迁移契约里这一条对应证据标记:每个状态元素带一个”观测密度”或”置信度”,接收方用它决定迁移后要不要先采样验证。这一点在工程里经常被忽略——地图看起来完整,但有一半是插值补出来的,这种地图在迁移后最容易把人带沟里。

问题四:状态与哪些本体参数耦合。 同一张地图在一个本体上定位准确,换一台同型号机器人可能差几十厘米,原因是:轮径、轮距、相机内参、IMU 外参、时间延迟。迁移时如果不带上”这张地图是在什么本体参数下标定的”,接收方就会在新本体上得到一个系统性偏差。这个偏差正是第十九篇那种”与状态强相关、落在策略不敏感方向之外”的误差,会直接变成定位失败。

问题五:副本的更新归属与仲裁规则。 这一条最容易被忽略。如果同一份状态被投给两个会话(第十八篇的多入口场景里,或者”仿真会话 + 真机会话”并行训练场景里),两个会话都会在本地更新它。迁移协议必须声明谁是权威:是一方只读、另一方写回?还是双方各自写、由仲裁规则合并?第十七篇的 WorldPager 给出一层参考——把 KV 做成存储层级,不同层级有不同的写策略;第十八篇的权威状态与记录级多写者给出了写协议。迁移契约要把这套东西连同一份状态一起交过去,而不是让接收方自己猜。

把这五条写成一个字段清单,就得到一个可执行的迁移描述:

migration_record:
payload_id: # 状态元素标识
payload_kind: # loop_state | context_kv | memory | slow_weight
frame: # world | body_startup | ...
built_at: # 建图/产生时刻
staticness: # strong | weak | dynamic
evidence_density: # 被真实观测覆盖的比例
body_coupling: # 本体参数指纹
authority: # read_only | writable | shared
rollback_ref: # 可回溯的基准(慢权重必须)

这份描述本身也是状态的一部分,要跟着状态一起持久化。它不参与预测,但它参与决策:接收方是用它先验地判断”我能不能直接相信这批东西”。

迁移之后的写回:新鲜度、撤销与影子副本

迁移的另一个方向经常被忘掉:迁移过去之后,接收方会更新这份状态;这些更新要不要写回来?

写回来是必要的——否则第一个会话永远学不到第二个会话的经验,两个会话各自积累互相冲突的世界理解。但要写回来,就必然面对三个问题:新鲜度(写回的内容比原件新还是旧)、撤销(写回的内容后来被证明是错的怎么办)、冲突(多个会话写回同一元素)。

新鲜度问题可以用代(generation)来解决:每一份状态元素带一个逻辑版本号,写回时带上”我基于哪一代修改的”。接收方如果发现自己的修改基于旧代,就拒绝写入,并通知发送方”你手上那份已经过期”。这和数据库里的乐观并发控制是同一件事,只是作用在世界状态上。

撤销比冲突更难。一个会话在迁移过去的记忆基础上增加了”这条通道今天有临时物料”这样的条目,这个条目在物理上可能第二天就没了。如果写回主库,第三天所有会话都会带着这条过期信息。做法通常是按置信度分级写回:观测级条目(「看到过」)写回但要带有效期;推断级条目(「根据之前看到的推断这里可能有东西」)写回时只作为候选,不进入权威层。第十七篇的 ReWorld 思路与此相关——控制与记忆拆到不同的注意力头,记忆部分可以更松、控制部分必须更紧;迁移写回时也可以照这个原则:记忆写回允许更多回滚,控制相关的状态写回必须有证据。

冲突仲裁可以用影子副本:接收方在一份”影子副本”上先做修改,不立刻写回主库,等修改被新观测证实(比如第二天又看到同一处物料)才提升为主库内容。影子副本的策略在第十八篇的共享状态里已有雏形——分叉的世界线在合并前是独立的,只有通过一致性检查才被合进来。迁移写回只是把”分叉”的时间尺度拉长到了会话之间。

写回的稳定性条件

把这三件事合起来看,写回能不能收敛取决于一个简单的不等式。设一份状态元素在会话间的更新频率是 ff(每个会话被改动一次就是 f=1f=1),它在新观测中的确认率是 qq(改动之后被后续观测证实成立的比例),那么稳态下主库里这类元素的过期比例近似为:

pstale≈f (1−q)f (1−q)+rp_{\text{stale}} \approx \frac{f\,(1-q)}{f\,(1-q) + r}

rr 是元素被主动复审或淘汰的速率。这个式子的含义很直白:写回越频繁、确认率越低、复审越少,主库里的过期信息就越多——而它的分母是有限的,说明光靠”多写回”解决不了过期问题,必须有淘汰机制。这对应到工程上就是:写回协议里必须同时定义”如何删除”,而不是只定义”如何新增”。很多迁移系统的失败并不是写错了什么,而是旧的东西从来没被清掉。

还有一个与第十八篇直接相连的结论:多入口(多会话)写回时,最终一致性不能只看单个元素,要看元素之间的关系。「货架在门口」与「门口这个位置有货架」是两个相互依赖的记录,如果一条被更新、另一条没有,主库表达的世界就自相矛盾了。影子副本在这里的作用不只是”推迟写入”,更是在合入前做一次关系检查:检查一批候选更新合起来是否仍然自洽。这一步代价不高(大体是扫描一遍受影响的元素及其邻居),但它是防止主库慢慢变成”每条都对、整体都错”的唯一手段。

WorldMem 作为迁移的一端:时间条件记忆怎么接

WorldMem(Xiao 等 2025 年,arXiv:2504.12369)原本是给视频生成式世界模型做长时一致性的工作。它把历史帧与位姿一起放进记忆,生成时按当前位置检索相邻帧作为条件。单看这是一个会话内的事,但它恰好展示了”记忆如何在时间上连续”——而这正是跨会话迁移需要接续的东西。

WorldMem 在较长时间跨度内保持场景一致:缺少记忆时会漂移或遗忘,带记忆时场景能够「找回」

上图是 WorldMem 的主图,(a) 是无记忆时的生成,(b) 是有记忆时的生成,沿时间轴标出了初始位置、“四处走动""回头看""右转""左转”等动作。无记忆时,模型一旦走出视野再返回,场景就”变了”;有记忆时,返回后还能把之前的场景找回来。跨会话迁移要的就是”找回”这件事,只不过空档更长、没有任何中间观测。

WorldMem 的几种时间条件:初始帧、走过某处、四处走动、回头看

上面这一张把时间条件的几种形式摆出来:从初始帧出发(初始化)、在某个位姿走过(walking around)、离开一段再回看(look back)。这几种条件本质上都是”给生成器一个地址 + 一份该地址上的记忆”。迁移问题可以借用这个模板:下一个会话开始时,它的第一个观测就是迁移过来的那一批记忆给出的”初始帧”,后续的生成就在这个”初始帧”上继续。区别在于——迁移过来的这批”初始帧”,可能是一天以前记下来的。所以迁移时记忆必须带时间,让接收方知道”这段记忆是多久以前的”,从而决定把它用得多强。

WorldMem 的系统设计给的启发是:记忆的用法是按位姿检索的,迁移过来的记忆也是按位姿检索的。所以迁移后接收方不需要一次性把整份记忆读进来,只需要在需要取那段记忆时用当前位姿去检索。这把”迁移多少”从”传输问题”变成了”索引问题”——迁移的成本主要在索引结构与位姿一致性上,不在记忆内容本身。这也是为什么迁移契约里”坐标系 + 位姿”必须写得非常清楚:索引错了,后面做得再好都是错位。

MemoryVLA 作为迁移的另一端:把记忆装进状态空间里

Vision-Language-Action 模型里的记忆机制,是跨会话迁移的另一处重要参考。MemoryVLA(Shi 等 2025 年,arXiv:2508.19236)在 VLA 里加了一个认知记忆库,把”感知记忆”(动作执行过程中的中间表征)与”认知记忆”(任务级的高层理解)分开存,用两种注意力分别从这两类记忆里取信息。

MemoryVLA 的方法框架:感知-认知记忆库、感知注意力与认知注意力,以及 LLM 主干

上图是 MemoryVLA 的方法框架。左侧是记忆库,里面有两类 token:感知 token(记动作过程中的细节)与认知 token(记任务级的理解);中间是注意力模块,感知注意力去查感知 token,认知注意力去查认知 token;右侧是 VLA 主干,把这两类取出的信息与当前的视觉、语言输入一起送进 LLM。

MemoryVLA 各模块:感知注意力、认知注意力、记忆巩固与记忆检索

上图进一步展开模块:感知注意力、认知注意力、记忆巩固(consolidation)与记忆检索(retrieval)。这些名字直接对应迁移里要做的几件事。

分层记忆对迁移的意义非常直接。如果一份状态里同时有”细节级记忆”(这次动作的精确轨迹、接触力、末端位置)和”任务级记忆”(「这个抽屉需要先从下面托住、再往外拉」),它们在迁移时的价值完全不同:前者在换一个本体、换一个场景后基本无效,后者在新的会话里大概率仍然正确。所以迁移时优先迁移任务级的部分,细节级部分按需携带。这跟第十七篇讨论”记忆不在注意力里”时得出的结论一致:记忆的层次决定了它能不能被复用,而不是它的存储形式。

认知注意力的作用是”从记忆里选与当前任务相关的那部分”。迁移时接收方也面临同样的问题:拿到一整份记忆,怎么选适合自己的?选的标准无非是”当前任务、当前位姿、当前本体”。MemoryVLA 的两类注意力给出了一个自然的分工:感知注意力按”当前时刻”选,认知注意力按”任务”选。迁移协议在接收端应当把这两类选择也显式化——按任务选比按位姿选更鲁棒,因为任务类型在一个会话之间大概率不变,而位姿可能全部重来。

一个完整的迁移流程

把上面的零件拼起来,一个跨会话迁移流程大致是五步。每一步都对应前面讨论过的某个契约字段或某种载体。

第一步:会话收尾时做「封装」。 不是把整个状态原样打包,而是先决定”哪些值得留下”。这个决定可以基于三类信号:被反复观测过的、被动作验证过的(模型说「这里有台阶」,机器人真的踩到了)、与任务相关的(第十九篇的 Etask\mathcal{E}_{\text{task}} 视角——只在任务敏感方向上保留)。封装出来的每一件都带上迁移描述里的字段。

第二步:接收方做”预检”。 开机后先检查迁移描述:本体指纹是否匹配?时间差多长?证据密度是否足够?对每一项决定”直接使用 / 降权使用 / 采样验证后再用 / 丢弃”。这一步在工程上应该非常快——预检本身要是拖了十分钟,机器人站在那里等,就没有意义。

第三步:按需检索。 不把整份记忆读进来,而是在跟踪时需要哪一段就读哪一段。这一步借用了 WorldMem 按位姿检索的思路:检索的代价要从”传输”降到”索引”。

第四步:在线更新 + 分叉。 接收方在会话中更新状态,对更新做”影子副本”处理,不直接污染原状态。原状态如果只读就用影子副本;如果允许写,就用代数控制写回。

第五步:写回 + 合并。 会话结束时,把被证据证实的更新写回,冲突用代数拒绝、用一致性检查合并。这一轮写回之后,迁移描述里的时间戳更新,下一次迁移从新的状态出发。

这五步的代价可以粗略估一下。封装、预检都很便宜,代价主要在第三步与第五步:第三步代价近似于”按索引读一段记忆”,第五步代价近似于”跑一次局部一致性检查”。跨会话迁移最大的开销不在推理上,在存储与索引的一致性维护上——这与第十七篇对记忆成本的结论是一致的。

迁移的推理账本:接续一份记忆要花多少

迁移不是”复制文件”,它在推理侧也确实有成本。把它拆成三项能算清的量。

第一项:搬运成本。 外部记忆库和 KV 缓存的搬运是显存与带宽的问题。一份 KV 缓存每 token 占 2nlayerdkv2 n_{\text{layer}} d_{\text{kv}} 个元素(K 与 V 各一份,推理框架里通常按层存),在 FP16 下就是 4nlayerdkv4 n_{\text{layer}} d_{\text{kv}} 字节。一份 8 层、每层 KV 维度 512、长度 4 万 token 的记忆,粗算是 4×8×512×40000≈6.5×1084 \times 8 \times 512 \times 40000 \approx 6.5\times 10^{8} 字节,约 650 MB。这意味着KV 型记忆不能跨会话大规模搬运,它更适合”会话内长上下文”而不是”会话间继承”。这也解释了为什么实际系统里跨会话迁移的主力是外部记忆库和几何/语义表征——它们的数据密度高得多:一帧 RGB 视频要几十万个字节,而它对应的场景结构可能只有几 KB。

第二项:检索成本。 迁移后的每次使用都要去索引里取。第十七篇给出的记忆账里,检索的代价与”库的规模”和”索引的组织方式”都有关。按位姿检索可以用空间索引(比如把位姿分成体素,每个体素挂一小组记忆单元),检索是 O(log⁡N)O(\log N) 甚至常数级;按语义检索要用特征相似度,代价近似与库规模成正比。迁移设计里要优先选按位姿 + 按任务双重索引,因为这两类查询在会话间是最稳定的:位姿在同一个坐标系里变化有限,任务类型通常不变。按”具体画面”检索在迁移后最不可靠。

第三项:验证成本。 这是迁移最容易被忽略、也最难以估算的一项。接收方在使用迁移状态之前,可能要拿新观测去验证若干元素;验证的代价与”需要验证的元素数量”和”每个元素验证所需的观测数”成正比。工程上的缓解办法是按任务梯度的敏感度分配验证预算——这与第十九篇的思路相同:只在策略敏感的方向上花验证预算,对不敏感方向直接信任。对巡检机器人而言,“脚下的可通行性”与”前方障碍物是否还存在”是敏感方向,必须验证;“天花板颜色”这类不敏感方向可以完全跳过。

三项加起来,跨会话迁移的真实开销是搬运 + 检索 + 验证,而收益是省下重建感知与重新建图的时间。收益是否能覆盖成本,取决于场景:一个建一次图要几小时的场景,省下的大部分是重建成本;一个建图只要几分钟的场景,验证成本可能就把迁移的意义抵消掉了。

什么时候不要迁移

迁移不是免费的午餐,也不是总能省钱。有的场景迁移反而比”重新走一遍”更差。

世界变化速度超过重建成本时。 巡检机器人在一个场景里每天都要重建一遍地图,这时候重建成本可能低于”用一张过期地图、在每次变化处重新校正”的成本。判断标准可以粗略写为:设每天的世界变化比例是 δ\delta,重建的代价是 crebuildc_{\text{rebuild}},用迁移地图的代价是 crefresh+δ⋅crevisitc_{\text{refresh}} + \delta \cdot c_{\text{revisit}},那么当 δ⋅crevisit>crebuild−crefresh\delta \cdot c_{\text{revisit}} > c_{\text{rebuild}} - c_{\text{refresh}} 时,重建更划算。δ\delta 可以通过”两次建图结果差多少”测出来——这件事本身就可以作为迁移协议的一个统计量。

本体变化大到超过地图的耦合边界。 换了型号、换了底盘,原先标定的地图就接近无效。此时迁移几何价值不大,但迁移场景图语义仍然有价值——“这里有个门”在换本体后大概率仍然成立。

任务本身对新鲜度极度敏感。 比如安全巡检、危险品搬运这类要求高置信度的任务,接收方对过期状态的容忍度低,宁可从头感知也不能继承一个不确定的地图。

反过来,迁移最有价值的场景是:世界变化缓慢、任务重复度高、有明确权威本体、重建代价高。巡检机器人在一个大型仓库里每天重复路线,就属于这一类。

小结

这一篇把”跨会话迁移”拆成三件事:

  1. 状态不是一份,是一组带描述的件。 ORB-SLAM3 的 Atlas 早已给出这个结构:多张子地图 + 可计算的连接。迁移时要把第十七篇的四种载体按”迁移特性”排开:循环状态最便宜也最危险,上下文 KV 成本可按副本数乘以失效窗口估,外部记忆库是主力,慢权重最贵也最难撤销。

  2. 迁移的实质是契约,而不是传输。 “这是什么状态、用哪个坐标系、对世界会变的假设是什么、哪些有证据、与哪些本体参数耦合、更新归谁仲裁”——这六件事必须与状态一起交过去,否则接收方只能二选一:全盘信任或全盘重来。

  3. 写回比迁移更难。 迁移过去的状态会被更新,更新要写回来就必须处理新鲜度(用代数)、撤销(按置信度分级)与冲突(影子副本 + 一致性检查)。

一句话概括:跨会话迁移在世界模型里对应的是”信念的可继承性”,也就是把模型对世界的信念,连同它的适用范围和适用期限,一起交给下一个使用它的对话。 这比把地图文件拷过去复杂得多,比重新感知便宜得多。

系列走到这一篇,已经把”世界模型”从概念、路线、部署、评测、记忆一直推到了会话之间。还有一处未展开的相邻线索:世界模型作为仿真里的数据引擎时,它的失效边界在哪——也就是在把世界模型产出当成训练数据、而不是直接当成预测器来用时,迁移过来的”世界理解”会以哪种方式污染下一轮的训练。下一篇将讨论这条边界。

参考资料

  1. ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM(Campos 等,2020 年,arXiv:2007.11898)
  2. WorldMem: Long-term Consistent World Simulation with Memory(Xiao 等,2025 年,arXiv:2504.12369)
  3. MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation(Shi 等,2025 年,arXiv:2508.19236)
  4. ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning(Gu 等,2023 年,arXiv:2309.16650)
  5. ORB-SLAM3 官方开源仓库
  6. 世界模型从零讲起(十七):记忆不在注意力里——世界模型如何记住走过去的世界
  7. 世界模型从零讲起(十八):同一个世界,多个入口——共享世界状态的并发、分叉与合并
  8. 世界模型从零讲起(十九):误差走进闭环——反馈是在放大还是抑制模型的偏差
  9. 带有记忆的 VLA 完全拆解:从滑动窗口到层次化持久记忆,机器人为什么必须学会记住

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(二十):把世界带到下一个会话——跨会话世界状态迁移
https://pinghaoyang.com.cn/articles/insights/posts/cross-session-world-state-transfer/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录