世界模型从零讲起(十四):跨越多个时间尺度——分层世界模型与时间抽象

14743 字
74 分钟
世界模型从零讲起(十四):跨越多个时间尺度——分层世界模型与时间抽象

承接前十三篇:一个被所有路线共享的时间尺度

前十三篇里,世界模型的设计空间是按「预测发生在哪里」和「状态怎么组织」来切分的:Dreamer 在紧凑的循环状态里预测,JEPA 在语义表征里预测,视频生成式模型在 token 上预测,几何式模型把世界重建成显式场景,潜空间规划在学到的状态空间里做搜索,物体中心模型把状态拆成一袋槽位。这一路走下来,几乎每一篇都默认了同一件事:世界模型以一个固定的时间步为单位向前推演。RSSM 的每一步对应一帧或一个环境步,视频世界模型的每个 token 对应一帧或一个潜帧,MuZero 的每次仿真对应博弈中的一个动作。

这个默认假设在短程任务里没有问题,但在长程任务里,它像一个没有变速档位的变速箱:所有决策都被迫在同一个频率上做。规划器在一条 1000 步的走廊里做搜索,就必须沿着 1000 个细粒度时间步逐级展开;策略在「从厨房走到客厅拿杯子」这样的任务上,也要在一个和「把手指移动到把手跟前」相同的时标上输出动作。前者需要的是几十秒量级的语义决策,后者需要的是几十毫秒量级的伺服反馈——两者的时间尺度差了两三个数量级。

分层世界模型(hierarchical world model)就是对这个默认做法的反驳。它的核心主张很短:对世界建模时,不应该只有一个时间分辨率。慢变量应该用大的时间步去建模,快变量应该用小的时间步去建模,两者之间通过「子目标」或「宏观动作」这类接口连接。这一篇讲的就是这条线的机制。

先把这条线在整个系列里的位置说清楚,避免和已经讲过的内容混淆。第二篇的 Dreamer、第八篇的 MuZero,都已经是「模型基」的世界模型;本文讲的分层不是「换个模型」,而是在模型之上增加一个时间抽象层。它和第十三篇的物体中心一样,是横切的结构选择:任何一条路线都可以选择是否在其上加分层。物体中心拆的是空间维度,分层拆的是时间维度。这两个维度正交互补,组合起来才是「结构化世界模型」的完整图景。

时间抽象的语言:选项、宏观动作与子目标

在讲分层世界模型的具体架构之前,需要先把「时间抽象」这件事说得足够精确。它不是一个比喻,而有一套从 1990 年代延续到今天的数学语言,世界模型的分层做法几乎全部建立在这套语言上。

选项:把「连续若干步的动作」打包成一个可调度单元

强化学习里的标准交互模型是马尔可夫决策过程(MDP):智能体在状态 sts_t 观测到环境,选择一个动作 ata_t,环境转移到 st+1s_{t+1} 并给出奖励 rtr_t。每一步都是一个决策点。

选项框架(options framework)由 Sutton、Precup 和 Singh 在 1999 年提出,它做的改动是:把「每步都决策」放宽成「有时可以连续执行一段行为」。一个选项由三元组定义:

ω=(Iω,πω,βω)\omega = (\mathcal{I}_\omega, \pi_\omega, \beta_\omega)

其中:

  • Iω\mathcal{I}_\omega 是启动集(initiation set),表示在哪些状态下可以启动这个选项。例如「伸手抓杯子」这个选项只有在手空闲、杯子可见时才能启动。
  • πω\pi_\omega 是选项内部策略,给定状态输出动作。
  • βω(s)\beta_\omega(s) 是终止函数,给出在状态 ss 下以多大概率终止该选项。

一旦启动某个选项,后续若干步的动作由 πω\pi_\omega 产生,不再需要每个时间步都向高层询问「下一步做什么」,直到 βω\beta_\omega 触发终止,控制权交回高层。

这个定义看起来平淡,但它把「时间抽象」变成了一个可计算的接口。高层的决策频率从「每一步」变成了「每执行完一个选项」。如果每个选项平均持续 kk 步,高层的决策次数就降到了原来的 1/k1/k。Semi-MDP 的 Bellman 方程正是用这个思路写出来的:价值函数在选项终止处才更新,

Qωπ(s,ω)=∑s′,r,jp(s′,r,j∣s,ω) γj[r+γ Vπ(s′)],Q_{\omega}^{\pi}(s, \omega) = \sum_{s', r, j} p(s', r, j \mid s, \omega)\,\gamma^{j}\big[r + \gamma\, V^{\pi}(s')\big],

这里 jj 是选项实际持续的步数,求和是对「选项结束于 jj 步后、到达 s′s'、得到累计奖励 rr」的所有情形做期望。与标准 Bellman 方程相比,唯一的区别是折扣因子变成了 γj\gamma^{j},即按真实持续步数打折。这条公式是整条分层路线的时间账本:它明确写着「高层看到的价值,是按宏观时间步折算过的价值」。

值得强调的一点是,选项框架里真正难的并不是「定义选项」,而是从哪里得到选项。如果选项是人工给定的(如「向左走」「打开抽屉」),分层就是一个工程便利;如果选项需要从数据里学出来,那么「一个选项应该在什么时候终止」本身就成了一个需要学习的决策。2016 年预印、随后发表于 AAAI 的 Option-Critic 架构(Bacon、Harb 和 Precup,arXiv:1609.05140)推导了选项内部策略和终止函数的策略梯度,使得选项的终止条件可以和策略一起从奖励中端到端学出来,不需要额外的子目标或奖励信号。这一步把「时间抽象」从手工设计推进到了自动发现。

宏观动作与子目标:两种接口形式

选项是最一般的写法。在世界模型这条线里,为了保持模型的可训练性,实践中常见的接口被简化为两种:

  1. 宏观动作(macro-action):高层输出一个「抽象的、可重复的动作」向量,低层把它当作条件执行一段时间。它对应选项框架里的 πω\pi_\omega 被参数化成「给定宏观动作,低层策略输出细动作」。
  2. 子目标(subgoal):高层不输出动作,而是输出一个目标状态(或目标潜向量),低层的工作是「到达这个目标」。它对应 Iω\mathcal{I}_\omega 中的目标条件化策略。

两者的区别在于高层需要学什么。宏观动作要求高层学会「什么样的抽象控制量会产生我想要的效果」;子目标要求高层学会「哪一段未来的状态是我想要的」。前者更接近动作空间的结构化,后者更接近状态空间的结构化。分层世界模型里两种都出现过,而且各自都有明显的工程取舍,后面的章节会逐一讲到。

为什么需要分层:两个可量化的困难

分层的动机并不是「生物大脑是分层的」这种类比,而是两个可以算出来的困难。

其一是复合误差(compounding error)。 第十一篇讲 Dyna 与 PILCO 时算过一笔账:每次多步预测都带着误差,误差在 rollout 里以大致叠加的速度累积。如果单步预测误差的相对量级是 ϵ\epsilon,那么 TT 步开环 rollout 的误差大致按 O(Tϵ)\mathcal{O}(T\epsilon) 或更差的速度增长。在 1000 步的任务里,让低层模型一口气 rollout 1000 步,误差早已把信号淹没。分层提供了另一种走法:高层只在 1000/k1000/k 个宏观步上推演,每一步的误差量级取决于宏观步的预测精度;而低层每个宏观步只需要 rollout kk 步,误差可控。总误差从「一个长序列的累积」变成「一条短序列每段重复若干次」,后者在数值上通常要好得多。

其二是搜索复杂度。 第八篇讲过潜空间规划:如果每次规划要在 TT 步的序列上搜索,每步有 AA 个候选动作,树搜索的规模大致是 O(AT)\mathcal{O}(A^{T}),即便用 CEM、MPPI 这类采样式规划,候选轨迹的维数也是 T×daT \times d_a。分层把序列长度压到 T/kT/k,候选维数随之下降,搜索的维度从「时间步」变成了「宏观步」。这是分层在计算上的直接收益,而且是可以白纸黑字算出来的收益,不是玄学。

这两个困难合在一起,解释了为什么分层在长程任务里划算、在短程任务里未必划算:当 TT 很小的时候,复合误差还没积累起来,搜索深度也不深,分层的接口开销(高低层之间传递子目标、高低层模型都要训练)反而成为负担。

分层的代价:接口不是免费的

讲清楚收益之后必须把代价也说清楚,否则后面看具体系统时会被「分层更好」的叙事带偏。分层至少引入三类新的成本:

  • 接口误差:高层预测的子目标可能根本不可达,低层必须在这个不可达的目标上尽力为。这相当于把误差从时间轴转移到了「目标一致性」上。
  • 非平稳性:低层在训练时看到的目标分布,与高层在测试时提出的目标分布可能不一致。低层如果只见过合理的目标,一旦高层提出一个略微超界的子目标,低层的行为也会轻微超界,而低层的失败又会反过来影响高层对世界的估计。
  • 对齐代价:高低两层往往在不同的表征空间里工作。低层用细粒度的局部特征,高层用粗粒度的语义特征。两个空间之间要么共享(共享潜空间),要么需要一个转换器,两者都有代价。

这些代价会在后面每一个具体系统里以不同的形式出现,可以先记住这个三分类,后面遇到再对号入座。

分层潜变量:把「意图」和「动作」分开

上一节从强化学习的角度讲了分层。世界模型这条线的切入角度略有不同:它关心的不是「什么时候换选项」,而是「分层结构对潜变量的约束是什么」。这个视角在 2019 年的 Play-LMP(Learning Latent Plans from Play,arXiv:1903.01973)、2022 年的 Director(Deep Hierarchical Planning from Pixels,arXiv:2206.04114)以及 2024 年的 HMB(项目页 hmb.world,论文 arXiv:2406.00483)里被讲得最清楚。

一个统一的写法:分层潜状态模型

把分层世界模型写成概率图模型,结构会变得非常直观。设时间步为 t=1,…,Tt = 1, \dots, T,分成 LL 层,第 ℓ\ell 层的时间分辨率为 Δℓ\Delta_\ell(例如最底层 Δ1=1\Delta_1 = 1,第二层 Δ2=k1\Delta_2 = k_1,第三层 Δ3=k1k2\Delta_3 = k_1 k_2)。每一层有自己的潜状态 zt(ℓ)z^{(\ell)}_t 和动作或目标 at(ℓ)a^{(\ell)}_t。

整套模型可以写成三层结构:

p(z1:T(1)∣o1:T)(感知 / 编码),p(zt+Δℓ(ℓ)∣zt(ℓ),at(ℓ))(各层动力学),p(ot∣zt(1))(解码)p(z^{(1)}_{1:T} \mid o_{1:T}) \quad \text{(感知 / 编码)}, \qquad p(z^{(\ell)}_{t+\Delta_\ell} \mid z^{(\ell)}_t, a^{(\ell)}_t) \quad \text{(各层动力学)}, \qquad p(o_t \mid z^{(1)}_t) \quad \text{(解码)}

最底层的动力学是细粒度的:给定当前潜状态和细动作,预测 Δ1\Delta_1 步之后的潜状态。上一层不看每一帧,只看每隔 Δ2\Delta_2 步的汇总:它的「训练数据」是从底层潜轨迹里按步长抽样出来的 zt(2),zt+Δ2(2),…z^{(2)}_{t}, z^{(2)}_{t+\Delta_2}, \dots,它的动作 at(2)a^{(2)}_t 是一个宏观动作或子目标,然后它的输出 zt+Δ2(2)z^{(2)}_{t+\Delta_2} 再下发给底层作为目标。

这个结构有一个非常重要、但容易在第一遍阅读时被忽略的性质:层与层之间的接口是「状态」而不是「动作」。 上一层的输出是一个潜状态,底层收到的是「去到这个状态」。这意味着高层不需要(也无法)知道底层究竟执行了哪些细动作;它只知道「到那里了」或「没到」。

为什么是状态而不是动作?原因在概率模型里很直接:如果把高层动作直接作为底层输入,那么高层动作和底层动作会竞争同一个条件,模型必须额外解释「这两个动作怎么协调」。而把接口设为状态后,高层输出的目标状态和底层实际的潜状态之间形成了一个目标条件化的关系:底层可以是一个目标条件策略,也可以是一个目标条件世界模型,两者都能单独训练。H-JEPA 论文的表述很精确:「每一层的预测结果成为下一层规划器的子目标」。

Play-LMP:把潜计划从「玩」里学出来

Play-LMP 讨论的是无任务交互数据上如何得到可复用的技能表示。它的出发点是「玩」(play):人用示教设备摆弄机器人时,往往并不是在完成某个具体任务,而是在探索、组合动作。这种数据量大、不需要分段、不需要标注,而且论文给出的实测是:同样收集时长下,玩数据覆盖的交互空间大约是任务示教数据的四倍。它隐含了大量可复用的行为片段,缺的只是「组织」。

Play-LMP 的组织方式是把「一段行为」本身变成一个可编码的对象。训练时有两条路径(论文图 1a):

  1. 从玩数据里抽一个随机时间窗,让计划识别器(plan recognition)看整个窗的序列,编码出「实际执行了什么」的潜计划。
  2. 让计划提议器(plan proposal)只看窗的起点状态和终点状态,输出「连接这两点可能有哪些行为」的分布。
  3. 让策略以「当前状态 + 目标状态 + 采样得到的潜计划」为条件,重构这段窗里的动作。

这里最关键的设计是第 2 步与第 3 步之间的约束方式:论文让计划提议器与计划识别器之间的 KL 尽量小,使得「只看端点的提议分布」覆盖「实际轨迹的识别分布」。这个约束的含义很具体:如果只看起点和终点就能提议出实际执行的那条路径,那么这个潜计划空间就真的是「由起点终点决定的」——它编码的是「怎么走到那」,而不是「当时环境里碰巧发生了什么」。

在这套结构里,潜计划充当的是技能索引:它不是某一条具体轨迹,而是一簇能达成同样端点的轨迹的共享表示。这解释了为什么后面 Director 能把「高层选目标、低层执行计划」的组合用来做长程规划——潜计划空间本身就已经按「起点—终点」组织好了。

Director:在潜空间里做两层决策

Director(Deep Hierarchical Planning from Pixels,NeurIPS 2022,arXiv:2206.04114)把 Play-LMP 的单层技能表示扩展成了一个两层决策结构:

  1. 低层策略学习「如何到达一个目标潜状态」,输入是当前状态和目标状态。
  2. 高层策略在学习的潜空间里选择目标潜状态(latent goals),目标是最大化任务和探索奖励。
  3. 训练与规划都发生在世界模型的潜空间里:高层策略学习选目标,低层策略学习到达目标,两者共享同一个学出来的世界模型。

Director 的贡献在于把「潜计划」这种表示从「技能索引」转变为「规划目标空间」:高层不再输出一个潜计划向量,而是输出一个潜空间中的目标点;低层学会到达这个点。这和第十三篇讲的「可寻址的规划状态」是同一个直觉:一旦状态空间中的点可以被单独指定为「目的地」,长程任务就可以被拆成「选一个点、走到它、再选下一个点」。

这种「在潜空间里指定目标」的做法有一个很自然的性质:它对目标空间的结构要求很高。如果潜空间的度量(欧氏距离、余弦相似度)不能反映「到目标有多近」,那么低层就学不到「朝目标走」的方向感。这也是为什么后面 HMB 在讨论目标相似度时要专门比较「比较潜状态」和「比较重建观测」——两种比较方式背后的假设不一样。

Director 的局限也很清楚,它只叠了两层:一层「选目标」,一层「走过去」。再往上叠一层语义(例如「去厨房拿杯子」→「走到杯子上方」→「伸手抓住」),就需要更系统的分层框架,这正是 HMB 与 H-JEPA 要做的事。

HMB:把 RSSM 叠成一条「时间阶梯」

HMB(Hierarchical Model-Based RL 框架,论文标题为 Exploring the limits of Hierarchical World Models in Reinforcement Learning,arXiv:2406.00483,2024)把这套想法做得更彻底:它不是只叠一层,而是叠任意层,每一层都是一个完整的 RSSM 世界模型,层与层之间用目标连接。

堆叠 RSSM 的推理图:每一层一个 RSSM,时间步按灰色框分组,上一层通过目标向下一层传递信息

上图出自 HMB 论文(arXiv:2406.00483)的图 1,展示的是一个三层堆叠 RSSM 的 rollout 图。把它拆开看:

  • 灰色竖框把时间步分组,每一组对应上一层的一个时间单位。组内的细格是底层时间步,越往上层走,同样的物理时间跨度被覆盖得越多。
  • 每一层都是一个 RSSM:一个循环隐藏状态 hh 加一个随机潜变量 zz,拼接成完整状态 s=(h,z)s = (h, z)。最底层的 RSSM 用观测 oto_t 作为输入,并解码观测和奖励;其余所有层用目标 gtg_t 作为输入并解码目标(而不是像素或奖励)。这让高层完全工作在「目标空间」里。
  • 底部蓝色箭头表示数据接地(grounding):真实环境的状态数据从底层往上传,用来约束各层模型。图中绿色节点是「闭环」步——模型在这些步被真实数据约束过;黄色节点是「开环」步——模型在这里只能靠自己的预测往前走。

这张图里最值得看的是闭环与开环的比例。HMB 的时序抽象让高层的每个开环步可以「跨越」底层的多个时间步,这正是时间抽象在图中最直观的体现:低层的很多步根本没有和真实环境对齐过,它们只在低层模型内部被执行。

HMB 的另一个设计是静态的、与环境无关的时间抽象:每一层的步长(如第一层 3 步、第二层 2 步)是预先固定好的超参数,不随环境变化。这个选择很重要,论文在摘要中明确指出它「允许模型和智能体并发训练」——因为步长固定,高层和低层就不需要在训练时互相等待对方学出「理想的抽象粒度」。这是用「牺牲最优粒度」换「并行训练」的一次明确交易,后面讲代价时要回到这一点。

H-JEPA:每一层在自己的潜空间里预测更远的未来

HMB 的分层建立在 RSSM 上,每一层都要重建或解码某个目标;H-JEPA 走的是另一条路:不重建像素,也不解码观测,每一层都是纯潜空间的 JEPA。

先回顾第三篇的 JEPA:它不预测像素,而是预测「被遮住的潜表征」。这带来一个根本问题——如果编码器和预测器一起把潜空间压成一个常数,预测误差可以为零,但表示什么信息都没有了。JEPA 类方法因此需要防坍缩机制:V-JEPA 用 stop-gradient 和动量编码器,LeJEPA 用 SIGReg(把嵌入分布拉向各向同性高斯),不同的方法各有各的解法。H-JEPA 用的是 SIGReg,损失写成

L(ℓ)=Lpred(ℓ)+λℓ⋅SIGReg(Z(ℓ)),\mathcal{L}^{(\ell)} = \mathcal{L}^{(\ell)}_{\mathrm{pred}} + \lambda_\ell \cdot \mathrm{SIGReg}\big(Z^{(\ell)}\big),

其中 Z(ℓ)={zt(ℓ)}Z^{(\ell)} = \{z^{(\ell)}_t\} 是该层在一个 batch、一段时间上的所有潜状态。Lpred(ℓ)\mathcal{L}^{(\ell)}_{\mathrm{pred}} 是该层的预测损失:给定过去的潜状态和动作块,预测下一个潜状态;SIGReg 则约束 Z(ℓ)Z^{(\ell)} 的分布不要坍缩。注意这里没有 KL 项——JEPA 没有解码器,也就没有「后验—先验」这套变分结构,防坍缩的任务交给了 SIGReg。

H-JEPA 的分层结构可以直接从论文的训练图(图 2)读出来:

  • 第 1 层处理最细的观测流:编码器 E(1)E^{(1)} 把每一帧编码成 zt(1)z^{(1)}_t,动作输入是原始动作块(论文明确说 level 1 consumes raw actions),预测器在「过去的 z(1)z^{(1)} + 动作」上预测下一时刻的 z(1)z^{(1)}。
  • 第 2 层不处理每一帧,而是按步长(stride)s2s_2 抽样:如果 s2=3s_2 = 3,它只编码第 0,3,6,…0, 3, 6, \dots 个第 1 层状态,把中间的动作块聚合起来作为自己的动作输入。论文图 2 的说明写得很清楚:在 w2=1,s2=2w_2 = 1, s_2 = 2 的例子中,第 2 层「每隔一个第 1 层状态点编码一次,并聚合中间的动作嵌入」。
  • 每一层都有自己的观测编码器、动作处理与潜预测器,层与层之间不共享权重。这和第 1 层与第 2 层共用一套编码器的做法不同,也是 H-JEPA 能实现「选择性抽象」的结构前提。

训练上,H-JEPA 让所有层端到端训练,高层的预测目标产生的梯度会穿过低层的编码器。这个选择使低层的表示会被「高层要预测什么」塑形:如果高层只需要预测「蚂蚁在迷宫中的位置」,低层就会逐渐把与位置无关的细节(腿的摆动姿态)压掉。论文把这个现象称为选择性抽象(selective abstraction),并且给出了一个可检验的边界条件:

当数据中不同因素的时间频率差足够大时,高层会丢弃快速变化、难以预测的细节,保留慢速变化、与任务相关的状态;当频率差小于约 2×2\times 时,这种选择性抽象几乎不出现(论文图 5)。

这句话是整篇 H-JEPA 里最值得记住的一句,因为它给「分层什么时候有用」下了一个可证伪的条件。分层不是「叠得越多越好」;它依赖数据本身存在时间尺度分离。如果环境里所有变量都以差不多的速度变化,高层和低层看到的世界差不多,分层只会增加接口开销,不会带来抽象收益。

论文给出的主结果也支持这个判断:在 Visual AntMaze 上,三层 H-JEPA 把成功率从单层基线的 18% 提到 73%,而且用更少的规划器算力;消融把增益归因于时间分解与高层目标表示两部分。在 DROID 真实机器人视频上,加入逆动力学监督后,分层在更低的规划算力下提升了离线规划保真度。注意这里的措辞是「离线规划保真度」,不是「真机成功率」——论文的 DROID 部分做的是离线评估,这个边界不能模糊。

分层潜变量的四种组合方式

把 Play-LMP、Director、HMB、H-JEPA 与 ID-WM 放在一起看,会看到四种不同的组合方式:

组合高层输出低层条件代表
潜计划一条轨迹的紧凑编码潜计划向量Play-LMP
潜空间目标一个目标潜状态目标潜状态 + 低层到达策略Director
目标状态一个粗粒度潜状态目标向量(在共享潜空间里)HMB、H-JEPA
可学习的目标子空间一个通过高层模型采样的可达状态逆动力学解算出的动作ID-WM

这四种组合的差别实际上在于高层的输出空间是什么:是「路径的紧凑表示」、是「当前潜空间里的一个目标点」、是「更高层预测出的粗粒度状态(它同时是下一层的目标)」,还是「从状态流形上采样的可达点」。这个细节会决定后面搜索怎么进行、误差怎么传播、推理怎么调度。理解了这张表,后面几节的内容就有了骨架。

KL 账本:每一层的潜变量该被约束到什么程度

上一节讲的是「分层怎么搭」。这一节要讲一个在搭建时会直接决定成色的细节:每一层潜变量的先验与后验之间应该保留多少差。这个问题在第二篇讲 Dreamer 时出现过一次(KL 平衡),在分层模型里会以更尖锐的形式重新出现,因为每多一层就多一份 KL,而且这份 KL 在层与层之间是串联的。

每个 RSSM 层的损失结构

以 HMB 的堆叠 RSSM 为例。第 ℓ\ell 层在时刻 tt 有先验 pθ(zt(ℓ)∣ht(ℓ))p_\theta(z^{(\ell)}_t \mid h^{(\ell)}_t) 和后验 qϕ(zt(ℓ)∣ht(ℓ),输入)q_\phi(z^{(\ell)}_t \mid h^{(\ell)}_t, \text{输入}),整体损失是「重建 / 目标预测」误差乘以系数 α\alpha 加上 KL 项乘以系数 β\beta:

L(ℓ)=α⋅E[∥y^t(ℓ)−yt(ℓ)∥2]+β⋅KL[qϕ(zt(ℓ)∣⋅) ∥ pθ(zt(ℓ)∣ht(ℓ))]\mathcal{L}^{(\ell)} = \alpha \cdot \mathbb{E}\Big[ \big\| \hat{y}^{(\ell)}_t - y^{(\ell)}_t \big\|^2 \Big] + \beta \cdot \mathrm{KL}\Big[ q_\phi(z^{(\ell)}_t \mid \cdot) \,\big\|\, p_\theta(z^{(\ell)}_t \mid h^{(\ell)}_t) \Big]

符号含义:

  • y^t(ℓ)\hat{y}^{(\ell)}_t 是该层解码器的输出。对第 0 层,解码的是观测与奖励;对更高层,解码的是下一层模型状态(即目标 gg)。
  • ht(ℓ)h^{(\ell)}_t 是循环隐藏状态,由上一时刻的 ht−1(ℓ)h^{(\ell)}_{t-1}、上一层输入和上一时刻潜变量共同决定。
  • KL 项把后验拉向先验,本质上是在说「潜变量里不应该携带超过循环状态所能解释的信息」。

单看一层,这和第二篇的 Dreamer 损失没有本质区别。分层之后的不同在于:第 ℓ\ell 层解码器的输出本身是「第 ℓ−1\ell-1 层的潜状态」,而潜状态是一个有分布的随机量。

三个连锁的后果

第一个后果:高层目标会被 KL 拉向高层的先验,而不是中层的实际后验。如果高层对「某个状态」的预测过于「自信」——后验很窄、KL 很小——那么高层在测试时几乎只能提出一个固定的目标,低层收到的目标高度重复,低层的有效训练数据也随之变窄。这是一个双向的反馈循环:后验太紧 → 目标太单一 → 低层学到的东西太窄 → 高层的预测也被这种窄数据加固。

第二个后果:不同层的 KL 系数不能一样。HMB 的论文在其方法部分专门讨论了「目标是什么、怎么比较两个目标」的问题,并指出 RSSM 状态是高维向量、其中既有确定性的部分也有随机的部分,直接用欧氏距离或内积来比较两个状态往往并不可靠。这句话背后的含义正是上面所述:如果高层的目标落在高维的、分布式的潜空间里,「离目标多近」这类相似度度量本身就带有很大的方差,低层据此判断「是否到达」时会被随机分量干扰。

第三个后果,也是最要紧的:高层的重建误差与 KL 之间的权衡会向下传导。 高层解码器的目标不是像素,而是第 ℓ−1\ell-1 层的潜状态。这个目标本身是由低层的编码器产生的,而低层编码器在训练中会不断变化。这就意味着高层的「监督信号」在移动:今天高层的输出能重建低层状态,明天低层状态的定义变了,高层的重建误差就会跳一下。这是分层潜变量模型特有的非平稳性,第二篇的单层 Dreamer 不存在这个问题。

实践中的三条处理原则

综合 HMB、H-JEPA 以及后续工作的做法,可以提炼出三条比较稳定的原则:

原则一:高层的 KL 应当更「松」还是更「紧」,取决于高层要携带多少不确定性。 如果高层的任务是在长程上做出粗粒度决策,它需要表达的不确定性更大(「大概去客厅那个方向」),此时把 KL 压得太紧会让高层过早坍缩成一个确定性策略,失去「探索多个候选子目标」的能力。反之,如果高层只是要做一次性的方向判断,KL 收紧反而能减少噪声。

原则二:目标解码器的损失应当与目标比较的方式一致。 如果低层用欧氏距离判断「到没到目标」,那么高层解码器就应该最小化欧氏意义上的重建误差;如果低层用的是学习到的相似度度量(例如余弦相似度、或者一个学出来的判别器),高层的损失也要相应地换成那个度量。HMB 的论文在这一点上做过比较:在简单环境里,比较高层的目标与重建后的观测,比直接比较潜状态学得更快——原因正是上面说的「分布式的潜状态不容易用欧氏距离区分」。这是一个非常有价值的工程经验:比较什么,最好就用什么来训练。

原则三:端到端训练与递进训练是两种不同的时间表,要按数据规模选。 由于高层的监督信号在移动,「所有层同时端到端训练」意味着每一层的梯度都要穿过别的层,训练动力学更复杂。H-JEPA 的做法是让高层的目标梯度流入低层编码器,也就是所有层端到端训练(论文明确说明这是主结果采用的训练方式);同时它保留了一个递进式(stagewise)变体——先单独训练低层、冻结之后再训练高层——但这个变体只用于少数分析,而不是主结果。这个细节很值得留意:端到端训练保留的是「低层编码器可以被高层的预测目标塑形」这一自由度,它恰好和上面第二条原则冲突——如果低层编码器为了高层目标而改变表示,那么 HMB 那种「固定低层表示、上层去适配」的稳健做法就不再适用。两者是不同规模下的不同选择:数据足够时端到端能学到更适配分层的表示,数据有限时递进训练更容易收敛。这与第十三篇讲的槽位分解与动力学分离训练属于同一类权衡——分层既可以分开训练,也可以联合训练,但选择哪一种决定了层级之间的误差如何流动。

把分层接进规划:三种输出空间的搜索几何

现在把分层放回到规划这条主线上。第八篇讲过潜空间规划的基本形态:在学到的状态空间里,用 CEM 或 MCTS 在动作序列上搜索。分层之后,规划的结构会发生变化,而变化的方式取决于上一节表格里高层的输出空间。

形式一:在低维潜变量空间里做选择(Play-LMP / Director)

Play-LMP 的高层输出是一个潜计划 zz,Director 的高层输出是一个目标潜状态。两者的共同结构是:高层不再在时间序列上搜索,而是在一个低维潜变量空间里做选择。如果用一个统一的形式来写,可以写成

z∗=arg⁡min⁡z∈Z  d(fθ(st,z), zg),z^{*} = \arg\min_{z \in \mathcal{Z}} \; d\big( f_\theta(s_t, z),\, z_g \big),

这里 zz 在不同系统里含义不同(潜计划或目标潜状态),fθf_\theta 是低层在给定 zz 时 rollout 出来的潜状态,zgz_g 是目标观测编码后的潜状态,dd 是距离度量。搜索空间 Z\mathcal{Z} 的维数远低于「TT 步 ×\times 每步动作维数」。

这个统一写法只表达「搜索对象被压缩成了低维潜变量」这一件事,具体怎么选 zz 则有两条不同的路。Play-LMP 走的是提议分布:计划提议器以起点和终点为条件输出一个分布,测试时可以从分布里采样或选择。Director 走的是学出来的高层策略:高层策略在潜空间里选择目标,低层策略负责到达,训练靠世界模型里的想象 rollout,而不是测试时的 CEM。

这样做的好处是搜索空间小、候选维数低。代价是表达分辨率受限:一个潜计划或一个目标潜状态只能表达「一种大致的意图」,当任务需要精细的局部操作时(例如把杯子放进狭小的托盘),整体压缩会丢掉必要的细节,需要低层策略自己补齐。这条路线通常表现为「在远处的大动作上表现不错,在近处的精细操作上依赖低层控制」。

形式二:在目标空间里搜索(HMB / H-JEPA)

H-JEPA 的高层输出是一个粗粒度潜状态。规划方式变成自上而下:最顶层规划器优化朝向最终目标的进度,它预测出的第一个状态成为次顶层的子目标,次顶层再向下传递,直到最底层。每一层都在自己的潜空间里做梯度或采样式的优化。

H-JEPA 分层规划示意:左为 Visual AntMaze 中的三级规划,右为规划成功率和规划器算力随层数的对比曲线

上图出自 H-JEPA 论文(H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning,arXiv:2610.06805,2026-10)的图 1。左侧画的是三级规划在 Visual AntMaze 上的执行:第三级在抽象潜空间里朝最终目标规划,它预测的第一个状态成为第二级规划器的子目标,第二级再向下分解。右侧是代价—收益曲线:横轴是每个 episode 消耗的规划器算力(TFLOPs,对数坐标),纵轴是成功率。图中可以看到,两层 H-JEPA 在很低的算力下就超过了单层基线,三层 H-JEPA 在同一算力下成功率更高、曲线也延伸得更远。这条曲线的读法是「花更少的搜索,拿到更高的成功率」——分层在规划上的第一性收益,就是以更短的搜索深度换取更好的规划质量。

这个形式的好处是每一层都能用自己学习的潜空间里的距离度量作为代价函数,天然地适配「各层语义粒度不同」的事实。代价在于梯度成本高:如果每一层都用梯度下降在候选子目标上优化,那么一次规划要做多次反向传播。这在第十一篇的语境里是一个很具体的账:JEPA 的规划如果每层都要反传,规划器的开销可能远大于世界模型本身——WARP-JEPA 后来测出的数字印证了这一点(见后文)。

形式三:在「可达状态」和「动作」之间交替(ID-WM)

ID-WM(Hierarchical World Models with Implicit Dynamics,arXiv:2610.42146,2026-10)提出了一种更细致的分解:把状态空间的可达性和局部控制解耦。

ID-WM 架构:高层世界模型采样子目标序列并优化高层代价,低层世界模型作为逆动力学解算器把子目标落地为可执行动作

上图出自 ID-WM 论文的图 2。左侧是高层世界模型:给定初始观测和目标观测,它优化出一串子目标 s0,…,sTΔs_0, \dots, s_{T\Delta}。这些子目标不保证局部可达,高层只关心「在状态流形上能往目标方向走」。右侧是低层世界模型,它的角色不是「预测」,而是逆动力学解算器(inverse dynamics solver):给定相邻的两个子目标状态 stΔs_{t\Delta} 和 s(t+1)Δs_{(t+1)\Delta},它求解出能让智能体从前者精确到达后者的动作 ata_t。图底部那行反复出现的 stΔs_{t\Delta} 与 s(t+1)Δs_{(t+1)\Delta} 就是逆动力学的输入对。

这个设计的精妙之处在于两边的代价函数各自独立:高层规划代价只衡量「子目标序列离最终目标有多近」,低层规划代价只衡量「这一段的动作是否真的能执行」。两者交替优化,而不是揉成一个联合损失。这化解了上一节提到的「接口误差」问题:高层可以放心地提出「稍微远一点」的子目标,低层会告诉它「这段路我走不了」,然后把可达性修正回来。

代价是两套优化器交替运行,推理延迟因此比单层高。论文在附录里给出了推理时间的数据(单张 L40S GPU,达到一个目标所需的推理时间),并比较了与单层世界模型在匹配 CEM 预算和匹配墙上时间两种条件下的成功率。这类比较方式是值得学习的:「同等算力比效果」和「同等效果比耗时」是两个完全不同的问题,必须分开报告。

三种形式放在一起看

形式搜索维度一次规划的主要成本主要失效模式
低维潜变量潜计划或目标潜状态低层 rollout 次数精细操作丢细节
目标空间(自上而下)各层潜状态每层的梯度回传规划器主导延迟
交替(可达 + 逆动力学)子目标序列与动作对两套优化交替交替次数带来延迟

这张表其实是第八篇潜空间规划那张成本表的「分层版本」。如果你熟悉第八篇里 CEM 和 MCTS 的对比,可以把三种形式理解为「把搜索树砍掉的三种不同方式」:Play-LMP 与 Director 把树压成一个低维潜变量,H-JEPA 把树拆成几棵更浅的树,ID-WM 把树拆成两棵互相纠正的树。

与系列其他路线的接口

分层不是一条与前面十三条并列的路线,而是一层可以叠在它们之上的时间结构。把它逐条接回系列,可以看到每条路线在「多时间尺度」这件事上的具体接口。

前面的路线接口分层的具体作用
Dreamer / RSSM(第二篇)把 RSSM 叠成多层HMB 的每一层都是一个 RSSM,低层解码观测,高层解码目标;时间抽象通过分块与目标传递实现
JEPA(第三篇)把 JEPA 叠成多层H-JEPA 的每一层都是 action-conditioned JEPA,各层有自己的编码器与预测器,SIGReg 防坍缩
视频生成式(第四篇)时间上的粗到细生成高层生成关键帧或低帧率语义,低层做插帧或局部细化;与长视频的层次化生成同构
WAM(第五篇)慢世界、快动作WAM 在单个模型内部把「世界预测」与「动作生成」分成两个时标;分层则把这两个时标拆成两层模型
潜空间规划(第八篇)减少搜索深度高层在宏观步上搜索,低层在宏观步之间执行;搜索树从 TT 层变成 LL 棵更浅的树
推理系统(第九篇)两个时钟的调度高层决策频率低、低层执行频率高;延迟预算、缓存与批处理要按两个时钟分别设计
Dyna / 复合误差(第十一篇)缩短每段 rollout每层只需要 rollout 自己的时间跨度,长程误差被拆成多段短程误差
几何式(第十二篇)多分辨率场景图高层用粗略的几何/语义地图,低层用局部精细几何;层级对应空间分辨率
物体中心(第十三篇)物体级子目标高层可以选择「把某个槽位移动到某处」,低层执行物体级操作;空间分解与时间分解正交

这张表里最值得展开的是与第二篇、第三篇的关系,因为它们是分层的两个主要「底座」。

与 Dreamer/RSSM 的关系是结构性的:HMB 证明了「把 RSSM 原样叠起来」就能得到分层,只要把高层的解码目标换成低层的状态。这带来一个很实用的工程结论:如果你已经有一个训练好的 RSSM 世界模型,分层的增量成本主要是「再训练几层 RSSM」,而不是重写整个系统。 代价是每层都要有自己的循环状态与潜变量,显存与计算随层数线性增长。

与 JEPA 的关系则更微妙。JEPA 没有解码器,因此不能像 RSSM 那样「解码出下一层的状态」;H-JEPA 的做法是让每一层直接在自己的潜空间里预测,层与层之间通过目标潜状态连接。这带来一个理论上的好处:高层不需要重建低层的全部信息,只需要保留「对预测有用」的部分,因此更容易实现选择性抽象。代价是层与层之间的语义对齐更弱:高层的目标潜状态和低层的实际潜状态不在同一个空间里,需要一个共享的潜空间或一个转换器。H-JEPA 采用的是「共享潜空间」的方案(每层有自己的编码器,但都编码到可比较的潜空间),这也是它能在 H-JEPA 检查点上做 goal-conditioned 子目标学习的前提。

2026 年的进展:从「在线优化」转向「摊销规划」

把 2026 年下半年的几篇工作排在一起,会看到一条很清晰的趋势:分层世界模型的研究重点,正在从「怎么搭层级」转向「怎么让层级在推理时跑得快」。

ID-WM:把可达性与控制解耦

ID-WM(2026-10)已经在上一节讲过。它值得在「进展」里再强调一次,因为它代表了一种设计哲学:分层不只是「高层输出目标、低层执行」,还可以让两层各自拥有独立的代价函数与优化器。 高层只对「状态空间的可达性」负责,低层只对「局部动作的可行性」负责。这个解耦让高层可以大胆地提出远期子目标,而不必担心低层的执行细节;低层则可以把注意力放在「这一段路怎么走」上。

代价是两套优化交替,推理时延增加。论文在单张 L40S 上报告了推理时间,并在「匹配 CEM 预算」与「匹配墙上时间」两种条件下分别比较成功率。这个报告方式本身值得记住:分层系统的比较不能只看成功率,必须把规划算力或墙上时间固定住。

冻结高层、学习子目标:把搜索换成网络

2026-10 的「Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models」(arXiv:2610.26179)解决的是另一个痛点:高层规划器每次都要对候选宏观动作轨迹做微分,代价很高。它的做法是训练一个轻量的目标条件网络,通过冻结的高层预测器来学习「给定目标和当前状态,下一个子目标应该是什么」。训练使用 hindsight goals 与状态预测损失,不需要搜索解作为标签,也不需要宏观动作标签。推理时仍然保留高层自回归 rollout,但不再需要高层候选优化。

这篇工作的意义在于把「高层规划」从在线搜索变成了摊销推理:训练时把搜索的成本一次性付掉,推理时只跑网络。这和第七篇讲部署时的「把重计算搬到离线」是同一个思路,只是搬的对象从模型编译变成了规划过程。

WARP-JEPA:规划器占了 97.7% 的时间

同月的 WARP-JEPA(arXiv:2611.10806,2026-11)把这个问题量化得非常直接。它的分析指出:在 H-JEPA 这类分层 JEPA 上,迭代式测试时优化可以占到整个 episode 运行时间的 97.7%;而且「预测的 rollout 代价低」并不一定意味着「控制成功」。它还识别出一个「规划视野不对称」:顶层要负责长程组合,底层只需要做很短的两步规划,但现有方法对两层用同一套优化预算,导致顶层不够、底层浪费。

WARP-JEPA 的解法是:保持世界模型冻结,用一个轻量的「世界模型在环」因果 Transformer 在顶层做多候选轨迹提议,用并行的残差 MLP 在底层做提议;提议器用基于模型 rollout 的代价与 best-of-K 行为克隆训练。结果是在 30 个冻结的 H-JEPA 模型、4 个 benchmark 上,长程任务的 episode 推理速度提升 9.6 到 18.8 倍(Cube 上 2.9 到 3.0 倍),成功率最多提升 33.3 个百分点。

这组数字的重要性不在于「快了多少」,而在于它揭示了一个结构性事实:分层世界模型一旦进入部署,瓶颈往往不在世界模型的前向,而在规划器的搜索。 这也是为什么 2026 年的几条工作都在做「摊销规划」——把搜索换成学习出来的提议器,把在线优化换成离线训练。这个转向与第九篇讲的推理系统账本完全一致:延迟预算里最贵的部分,决定了系统架构。

Puppeteer:分层世界模型在整机上的样子

2024 年的 Puppeteer(Hierarchical World Models as Visual Whole-Body Humanoid Controllers,arXiv:2405.18418)提供了一个整机层面的例子。它用一个高层智能体根据视觉观测生成命令,一个低层智能体执行命令;低层先在海量人体动作捕捉数据上用强化学习预训练成一个「跟踪器」,高层再在任务奖励下学习如何给命令。两层都用奖励训练,没有手工的技能原语,也没有奖励设计。

这个系统的工程意义在于它展示了分层的「接口选择」:高层输出的不是关节角,也不是末端轨迹,而是一个抽象参考运动(abstract reference motion)命令;低层跟踪这个参考运动的相对末端位置。这个接口的好处是低层可以在没有任务标签的情况下从 MoCap 数据里学到「怎么动得像人」,高层只需要学「往哪动、做什么」。代价是高层命令的语义被低层的预训练分布限制:如果高层提出一个超出 MoCap 分布的命令,低层的跟踪质量会下降,而这个下降会通过奖励反馈给高层,形成一个隐式的约束。

这正好呼应了本文开头说的「接口不是免费的」:分层的收益来自「把不同时间尺度的事分开学」,代价则集中在「接口的语义必须两边都懂」。

推理账本:两个时钟的延迟与吞吐

分层世界模型部署时,最容易被低估的是两个时钟带来的系统复杂度。这一节把账算清楚。

每步的平均计算量

设低层每个环境步做一次前向,成本为 CLC_L;高层每隔 KK 个低层步做一次决策,成本为 CHC_H。那么摊到每个低层步上的平均计算量是

Cavg=CL+CHK.C_{\text{avg}} = C_L + \frac{C_H}{K}.

这个式子看起来很简单,但它解释了分层的第一个工程事实:如果高层模型和低层模型一样大(CH≈CLC_H \approx C_L),分层的计算开销只有 1+1/K1 + 1/K。当 K=10K = 10 时,开销增加 10%;当 K=100K = 100 时,只增加 1%。换句话说,分层的计算代价主要不取决于层数,而取决于高层多久决策一次。这也是为什么分层在长程任务上「几乎免费」:任务越长,KK 可以越大。

但 KK 不能无限大。KK 的上界由两个因素决定:一是环境的变化速度——如果环境在 KK 步内发生了高层没有预料到的变化,高层的目标就会过期;二是低层的执行误差——低层执行 KK 步后偏离目标越远,高层越需要频繁纠正。所以 KK 是一个需要按任务调的超参数,而不是越大越好。

规划成本:每层搜索的尺寸

分层规划的成本可以写成每层搜索成本的叠加。设第 ℓ\ell 层每次规划有 SℓS_\ell 个候选、视野为 HℓH_\ell 个该层时间步,单次候选评估的成本为 cℓc_\ell,那么一次完整的自上而下规划大致是

Cplan≈∑ℓ=1LSℓ⋅Hℓ⋅cℓ.C_{\text{plan}} \approx \sum_{\ell=1}^{L} S_\ell \cdot H_\ell \cdot c_\ell.

与单层规划 S⋅T⋅cS \cdot T \cdot c 相比,分层的优势来自 HℓH_\ell 的快速下降:如果每层时间步长是上一层的 kk 倍,那么第 ℓ\ell 层覆盖同样的物理时长只需要 T/kℓ−1T / k^{\ell-1} 步。层数越多,最深层的搜索越短,但层数本身也带来更多的规划调用。 这就是为什么 H-JEPA 的消融显示「三层比两层好」不是无条件的:它依赖于任务的时间尺度确实分得足够开,使每一层都能在自己的尺度上做出有效决策。

内存与缓存

分层并不减少低层的状态量,它只是在低层之上增加了少量高层状态。若低层有 NN 个时间步的潜状态,高层按 KK 抽样,那么总状态量大致是

N+NK+NK2+⋯=N⋅11−1/K,N + \frac{N}{K} + \frac{N}{K^2} + \cdots = N \cdot \frac{1}{1 - 1/K},

当 K≥4K \ge 4 时,总状态量不到低层的 1.34 倍。分层在内存上几乎是免费的,因为高层状态的数量按几何级数衰减。这个结论对基于 Transformer 的预测器同样成立:高层的 KV 缓存长度按 KK 缩短,层数增加带来的缓存增量远小于低层序列本身的长度。

真正占内存的仍然是低层的高分辨率观测、KV 缓存与规划器的候选缓冲区。分层不解决这些,它只是把「长程记忆」压到了高层,让低层可以专注于局部。

延迟:两个时钟如何对齐

部署时,高层与低层通常运行在不同的频率上:低层可能需要 50 到 1000 Hz(取决于控制对象),高层可能只需要 5 到 30 Hz。两个时钟的对齐方式有三种:

  1. 同步调用:每个高层周期开始时调用一次高层,等它返回后再执行 KK 个低层步。实现简单,但高层的一次慢推理会阻塞整个低层循环。
  2. 异步流水:高层在后台运行,低层继续执行上一个高层目标;高层返回后,下一个低层周期切换到新目标。这要求低层能在「目标切换」时平滑过渡,否则会出现动作跳变。
  3. 事件触发:低层检测到偏离目标、或环境发生显著变化时,才触发高层重规划。这能减少高层调用,但需要一个可靠的「偏离检测器」。

这三种方式在第九篇的推理系统里都能找到对应:同步调用像「串行 pipeline」,异步流水像「双缓冲」,事件触发像「条件重算」。分层的系统设计,很大程度上就是在这三种模式里选一个适合控制频率的方案。

摊销规划的收益与代价

WARP-JEPA 的 97.7% 这个数字说明,在分层 JEPA 这类系统里,规划器的成本可以远超世界模型本身。摊销规划把「每次推理都搜索」换成「训练一个提议器」,收益是数量级的延迟下降;代价是提议器的分布外泛化:如果测试时的目标或环境超出了训练分布,提议器可能提出很差的候选,而在线搜索至少还能靠模型本身的 rollout 纠正。

这形成一个很清晰的工程取舍:

方案延迟分布外表现实现复杂度
在线搜索(CEM / 梯度)高,随候选数与视野增长较好,靠模型评估兜底低,不需要额外训练
摊销提议器低,一次前向依赖训练分布高,需要收集候选与标签
混合(提议 + 少量在线修正)中等较好最高

2026 年的几条工作基本都在往「摊销 + 少量在线修正」这个方向走,但还没有形成一个通用的方案。这也是这个方向目前最开放的问题之一。

局限与已经显露的边界

分层世界模型不是「叠得越多越好」的万能结构,它的边界在最近两年的实验里已经相当清楚。

  1. 时间尺度分离是前提,不是结果。 H-JEPA 的频率分离实验说明:当数据中快慢变量的特征频率比低于约 2×2\times 时,高层几乎学不到「选择性抽象」,分层退化成「多一层参数」。这意味着在时间尺度单一的环境里,分层不会带来抽象收益,只会增加接口开销。

  2. 时间抽象粒度是超参数,不是学出来的。 HMB 用的是固定的、与环境无关的步长;H-JEPA 的 stride 也是每层预设的超参数。两者的理由不同(HMB 为了并行训练,H-JEPA 为了结构可控),但结果相同:「每层应该跨多少步」目前仍然主要靠人工选择。这是一个明显的开放问题,因为最优粒度显然应该随任务、数据与层数变化。

  3. 子目标可达性没有保证。 高层预测的目标可能落在低层走不到的区域。ID-WM 用「可达性 + 逆动力学」的双层结构部分解决了这个问题,但代价是两套优化交替,推理延迟上升。HMB 的做法是用「目标相似度」来软约束,但相似度度量本身在高维潜空间里并不可靠。

  4. 非平稳性与移动靶。 如果高层解码器的目标是低层编码器的输出,而低层编码器在训练中不断变化,高层的监督信号就在移动。端到端训练可以缓解这一点(高层梯度会塑形低层),但也会让低层表示被高层目标「绑架」,损失低层自身的预测质量。H-JEPA 的端到端与 HMB 的分层训练代表了两种不同的取舍,目前没有统一的结论。

  5. 层数收益递减,且需要对应尺度的数据。 每增加一层,就需要该层时间尺度上的有效数据。如果数据只覆盖短程交互,高层学不到长程依赖,层数越多越容易过拟合。H-JEPA 在四个环境上的结果支持「两到三层」的实用区间,但没有给出「层数应该随任务长度如何增长」的规律。

  6. 评测口径不统一。 分层系统的收益同时体现在「成功率」「规划算力」「推理延迟」「子目标可达率」等多个维度。只报告成功率会掩盖规划器的成本;只报告延迟会掩盖控制质量。ID-WM 同时报告「匹配预算」与「匹配时间」两种比较,H-JEPA 报告 planner FLOPs 与成功率的 Pareto 前沿,这两种做法都值得作为分层系统评测的最低要求。

  7. 真实系统的验证仍然有限。 大部分分层世界模型的实验在仿真里完成;Puppeteer 与 DROID 的离线评估提供了真实数据的初步证据,但「分层在真实机器人闭环控制中是否稳定优于单层」仍然缺少大规模、可复现的对照实验。这个空白不是写作上的保留,而是这个方向目前真实存在的证据边界。

小结

分层世界模型把「世界在不同时间尺度上变化」这件事写进了结构。它用选项与半马尔可夫决策过程定义了「时间抽象」的语言,用宏观动作或子目标作为层与层之间的接口,用堆叠 RSSM 或堆叠 JEPA 作为具体的预测底座。

从 Play-LMP 的潜计划、Director 的两层潜目标,到 HMB 的任意层 RSSM、H-JEPA 的多尺度 JEPA、ID-WM 的可达性与控制解耦,这条线在七年里逐步把「分层」从一种强化学习的技巧,变成了世界模型的一种可训练、可规划、可部署的结构。2026 年的几条工作进一步把重点转向推理:冻结世界模型、摊销规划、把搜索换成提议器,这些变化的共同目标是让分层在实时预算里跑得动。

但它也有清楚的边界:时间尺度分离是前提,抽象粒度靠人工选,子目标可达性没有保证,真实系统的闭环验证仍然有限。把这几条记住,比记住「分层更好」这个结论更有用。

下一篇将讨论世界模型里的不确定性:从概率动力学与集成预测,到不确定性如何进入规划与安全兜底,把这套「会想象的模型」在可靠性上的账算清楚。

参考资料

  1. Learning Latent Plans from Play(Play-LMP,arXiv:1903.01973,2019-03)
  2. Deep Hierarchical Planning from Pixels(Director,arXiv:2206.04114,2022-06)
  3. Exploring the limits of Hierarchical World Models in Reinforcement Learning(HMB,arXiv:2406.00483,2024-06)
  4. H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning(arXiv:2610.06805,2026-10)
  5. Hierarchical World Models with Implicit Dynamics(ID-WM,arXiv:2610.42146,2026-10)
  6. Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models(arXiv:2610.26179,2026-10)
  7. WARP-JEPA: World-Model-in-the-Loop Amortized Rollout Planning for Frozen Hierarchical Joint-Embedding Predictive Architectures(arXiv:2611.10806,2026-11)
  8. Hierarchical World Models as Visual Whole-Body Humanoid Controllers(Puppeteer,arXiv:2405.18418,2024-05)
  9. The Option-Critic Architecture(arXiv:1609.05140,2016-09)
  10. FeUdal Networks for Hierarchical Reinforcement Learning(arXiv:1703.01161,2017-03)
  11. Data-Efficient Hierarchical Reinforcement Learning(HIRO,arXiv:1805.08296,2018-05)
  12. Mastering Diverse Domains through World Models(DreamerV3,arXiv:2301.04104,2023-01)
  13. Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning(arXiv:2210.13461,2022-10)
  14. Director 项目页(Danijar Hafner 等,NeurIPS 2022)
  15. HMB 项目页(Schiewer、Subramoney、Wiskott,2024)

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(十四):跨越多个时间尺度——分层世界模型与时间抽象
https://pinghaoyang.com.cn/articles/insights/posts/hierarchical-world-models-part-14/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录