正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(十九):误差走进闭环——反馈是在放大还是抑制模型的偏差
承接前十八篇:把误差放进一个会反应的环里
前十八篇把世界模型从定义讲到了系统。第一篇给出形式化:世界模型是「在内部表征里模拟观测如何随动作演化」的模型;第二到第五篇拆了重建式、联合嵌入、视频生成式与动作生成式四条技术路线;第六篇讲评测,第七篇讲部署,第八篇讲潜空间规划,第九、十篇讲推理系统与能耗硬件;第十一篇专门拆了开环想象里的复合误差,把「L>1 时误差按 Lh 指数增长」这个结论推到了台面上;第十二到十八篇补了几何表示、物体中心、分层结构、预算地图、动作接口、长程记忆与共享世界状态。
这些篇目里,误差大多是在开环条件下被讨论的:给模型一段真实的初始状态和一段给定的动作序列,让它往前滚 h 步,再和真实轨迹比。开环分析干净、可复现,也确实是所有世界模型论文的标准评测口径。但它漏掉了一件事:在真正部署的闭环里,模型输出的不是一段被评分的轨迹,而是下一步要执行的动作;动作会改变真实世界,改变后的真实世界又作为新的输入回到模型里。 误差不再只是沿时间轴自己长大,它会通过「误差 → 动作 → 真实状态 → 新观测 → 新误差」这条路绕回来,形成一个反馈环。
这一篇就讲这个反馈环。核心问题只有一个:同一个预测偏差,进入闭环之后,会在什么条件下被压住,又在什么条件下被放大? 会看到,答案不是「模型越准越好」这么简单。闭环里的误差演化由两个增益共同决定:一个是真实被控对象自身的闭环增益,它天然抑制扰动;另一个是模型失配经过控制器增益之后形成的环路增益,它可能把一个小小的状态偏差放大成一次不可恢复的偏离。两者相减,才是世界模型在闭环里真正要付的账。
先把结论放在前面:世界模型的误差不可怕,有结构、零均值、快速变化的误差在闭环里往往无害;系统性偏差、与状态强相关、落在任务敏感方向上的误差才致命。 而工程上真正有效的做法,不是把模型训得更准,而是改环的结构——缩短前馈视野、提高重锚定频率、限制环路增益、给模型配一条不经过它的反馈通道。
开环与闭环:同一段误差,两种命运
一个一维的玩具例子
为了把「放大还是抑制」讲成可以算的东西,先看一个最小的例子。设真实系统是一维的:
st+1=ast+but+wt其中 st 是真实状态,ut 是执行的动作,wt 是外部扰动,a 是状态自身的衰减(∣a∣<1 表示无控制时状态会自己回到零),b 是动作对状态的作用强度。学到的世界模型是:
s^t+1=a^s^t+b^uta^、b^ 是模型参数,和真实值之间差了 Δa=a^−a、Δb=b^−b。控制器用比例反馈把状态推向零:
ut=−ks^tk 是控制器增益。这里故意让控制器读的是模型给出的信念 s^t,而不是真实状态——这正是世界模型在闭环里的位置:策略看到的是模型的估计,而不是上帝视角的真值。
先假设从第一步起就有估计误差 et=s^t−st。把控制器代入模型:
s^t+1=(a^−b^k)s^t把控制器代入真实系统:
st+1=(a−bk)st−bket+wt两式相减,得到误差自身的递推:
et+1=误差自身的增益(a^−Δbk)et+模型失配项[(a^−b^k)−(a−bk)]st−wt这个式子不长,但它把闭环误差的两种来源分得很清楚。
第一项是误差的自我传播。矩阵部分是 a^−Δbk。注意它不是 a^−b^k,也不是 a−bk。真实闭环动态 a−bk 会衰减状态偏差,但这份衰减同时作用在模型和真实系统上,相减时抵消了;剩下的是模型自身的动态 a^,再减去「动作增益的模型误差」被控制器放大后的部分 Δbk。这是第一个反直觉结论:控制器读模型状态时,反馈并不会自动修正估计误差,因为同一个动作同时施加在两个系统上,差异被原样保留。 只有当模型对动作效果的估计有偏差(Δb=0)时,控制器的高增益 k 才会在误差通道里留下痕迹——而且这一项带负号,意味着 Δbk 越大,误差衰减得越快;如果 b^ 小于真实 b,这一项反而变成正反馈。
第二项是模型失配持续注入的误差。只要真实状态 st 不为零,Δast−Δbkst 就不断产生新的偏差。它不随 et 衰减,因为它由轨迹本身驱动。闭环把状态推得越远、越剧烈,这一项就越大。
第三项 −wt 是外部扰动,被原样计入模型与现实之差。
三种命运
把上面的递推按 a^−Δbk 的绝对值分类,就得到三种命运:
| 条件 | 误差行为 | 工程含义 |
|---|---|---|
| ∣a^−Δbk∣<1 | 初始误差指数衰减,最终稳态由失配项与扰动决定 | 闭环有自净能力,模型偏差只造成有界偏移 |
| ∣a^−Δbk∣=1 | 初始误差不衰减,长期保持 | 临界,任何持续偏差都会累积成稳态误差 |
| ∣a^−Δbk∣>1 | 初始误差指数放大,最终被非线性或饱和截断 | 小偏差可演化为发散或事故 |
第三种情况在工程里并不罕见,它的典型形态是:模型以为「这个动作会让状态回到目标」,于是控制器给出较小的修正;真实系统里这个动作的效果比模型以为的更强,冲过了头;模型看到过头,又给出反向修正;每一步的修正都基于一个已经被自己改写过的世界。误差的符号在振荡,幅度在增长,直到执行器饱和或者系统离开训练分布。
这个例子里藏着一个容易被忽略的事实:当控制器读的是模型状态时,闭环的稳定性与误差的稳定性是两件不同的事。真实系统的闭环矩阵是 a−bk,模型内部看到的闭环矩阵是 a^−b^k,而误差通道的矩阵是 a^−Δbk。三个矩阵可以有不同的谱半径:真实系统收敛、模型内部收敛,误差却在发散。工程上表现为任务看起来还能做,但模型对世界的信念越来越偏,直到某个动作越过训练分布,系统突然失效。
把数字代进去,这个反直觉结论会更清楚。取真实参数 a=0.9、b=1,模型参数 a^=0.9、b^=0.6,控制器增益 k=0.5。真实闭环极点是 a−bk=0.4,稳定;模型内部看到的极点是 a^−b^k=0.6,也稳定;但误差通道的增益是
a^−Δbk=0.9−(−0.4)×0.5=1.1每一步把误差放大 10%,30 步之后是 1.130≈17.4 倍。系统在任务层面完全稳定,内部信念却已经偏到无法解释观测。把增益降到 k=0.1,误差通道变成 0.9+0.04=0.94,误差开始衰减,代价是真实闭环极点从 0.4 升到 0.8,对外部扰动的抑制变慢。同一个模型,配不同的增益,命运完全不同——这正是闭环误差问题的可操作性所在:模型误差 Δb 决定了误差通道的斜率,控制器增益 k 决定了这条斜率有没有越过 1。
这里还藏着一个方向性的结论:模型低估动作效果(b^<b,即 Δb<0)时,误差通道的增益是 a^+∣Δb∣k,随增益单调上升;模型高估动作效果(Δb>0)时,误差通道的增益是 a^−∣Δb∣k,随增益单调下降。前者是危险的组合——模型以为动作很轻,实际动作很重,控制器还开得很大;后者反而在误差通道上是自稳的,但会带来任务响应偏慢的问题。工程上做系统辨识时,宁可略微高估执行器的作用强度,也不要低估它,原因就在这里。
误差在闭环里的三条来路
表征误差、预测误差与执行误差
闭环里的误差不是单一来源。按产生环节拆开,至少有三条:
- 表征误差:编码器或滤波器把观测映射成信念时产生的偏差,记为 etrep=bt−st。即使动力学模型完全正确,这一项也存在,因为观测有噪声、编码器有近似、部分状态不可观测。
- 预测误差:模型从当前信念往前滚 h 步,预测未来与真实未来的差,记为 et,hpred。这是第十一篇开环分析的主角,也是规划与动作选择的依据。
- 执行误差:下发的动作与执行器实际产生的动作之间的差,记为 etact。摩擦、死区、通信抖动、力矩饱和都会贡献这一项。
这三项在开环评测里通常被合成一个数:给定真实初始状态和真实动作序列,比较预测轨迹与真实轨迹。但在闭环里,它们的作用路径完全不同。表征误差决定策略看到什么,预测误差决定策略选择哪个动作,执行误差决定动作实际造成什么。更关键的是,它们都会通过「动作」这一条通道回到真实世界,改变下一次观测。
一条把三者合起来的偏差递推
设真实系统为 st+1=f(st,at)+wt,策略为 at=π(bt),其中 st 是真实状态,bt 是模型给出的信念,wt 是外部扰动。再设一条标称轨迹 st⋆:同样的起点、同样的策略,但模型完美、观测无噪声。把真实轨迹与标称轨迹的偏差记为 dt=st−st⋆,把信念误差记为 et=bt−st。在标称轨迹附近做一阶展开:
dt+1=(A+BK)dt+BKet+wt其中
A=∂s∂f,B=∂a∂f,K=∂b∂π分别是真实动力学对状态的雅可比、对动作的雅可比,以及策略对信念的雅可比,全部在标称轨迹上取值。BK 这个乘积是理解全篇的关键:它是「信念变化一个单位,经过策略与执行器之后,真实状态变化多少」。
逐项读这条递推:
- (A+BK)dt 是真实系统在闭环下的演化。控制器若把任务稳住了,这一项的谱半径小于 1,任何偏差都会自己衰减。这是抑制通道。
- BKet 是信念误差被同一个增益转换成真实状态偏差。K 越大,一个单位的信念误差造成的动作误差越大;B 越大,同样的动作误差对状态的影响越大。这是放大通道。
- wt 是外部扰动,控制器存在的理由。
两个通道共用同一个 BK,这是闭环误差问题的全部张力所在。调大控制器增益,抑制通道变强,外部扰动被压得更狠;放大通道也变强,模型噪声被灌进系统更多。控制理论把这种现象叫「水床效应」:在一处按下去,另一处鼓起来。世界模型把这个效应从「测量噪声」扩展到了「模型误差」,而模型误差通常比测量噪声大得多。
标量情形:把放大与抑制算成数
把递推压到一维,取 A=a、B=b、K=−k,得到
dt+1=ρdt+get+wt,ρ=a−bk,g=bkρ 是真实闭环的极点,g 是误差到状态的传递增益。分两种误差形态看。
若 et 是零均值、方差为 σe2 的白噪声,稳态方差为
Var(d∞)=1−ρ2g2σe2这个式子说明,即使闭环绝对稳定,误差也会被放大 g2/(1−ρ2) 倍。ρ 越接近 1(控制越软),分母越小,放大越严重;g 越大(控制越硬),分子越大。两种极端都不好,中间存在一个使总方差最小的增益。这个最优增益由 σe2 与 wt 的方差之比决定——模型越不准,最优增益越低。
若 et 是常数偏差 eˉ,稳态偏移为
d∞=1−ρgeˉ常数偏差不会被平均掉,它直接变成一个稳态任务误差。模型的系统性偏差之所以比随机误差危险,原因就在这里:反馈回路可以把零均值噪声滤掉,却会把常数偏差当成「需要抵消的扰动」,用动作去对抗一个并不存在的状态差,最后让真实状态停在错误的位置上。
误差随状态变化时,闭环矩阵会被改写
上面把 et 当成外生输入。真实情况更糟:模型误差不是固定的,它随状态离训练分布的距离增大而增大。把这一层写进去,设
et=ϵt+Γdtϵt 是与轨迹无关的残余误差,Γ=∂e/∂d 是误差对状态偏差的敏感度——轨迹偏得越远,模型错得越多,Γ 就越大。代回递推:
dt+1=(A+BK+BKΓ)dt+BKϵt+wt闭环的等效矩阵多出了 BKΓ 这一项。它表示「偏差导致模型误差,模型误差又通过控制器产生新的偏差」这条正反馈。稳定性条件从 ρ(A+BK)<1 变成
ρ(A+BK+BKΓ)<1这就是全篇的中心公式。它把闭环误差问题拆成三个可分别估计的量:控制器增益 ∥BK∥、模型误差的分布敏感度 ∥Γ∥、以及真实闭环的稳定裕度 1−ρ(A+BK)。三者粗略地满足
∥BK∥⋅∥Γ∥<1−ρ(A+BK)时,闭环才能把小偏差收住。这是小增益定理在世界模型上的具体形态:环路里每一段的增益乘积必须小于 1。这里的写法是把矩阵的谱半径与算子范数混在一起用,严格版本要对具体范数逐项验证,工程上把它当作数量级判据即可。工程上真正要控制的不是「模型在测试集上的 MSE」,而是这个乘积。
Γ 有一个很反直觉的性质:它在训练分布内接近零,在分布外会陡然变大。一个在评测集上误差很小的模型,Γ 可能很小;一旦策略把状态推出数据覆盖范围,Γ 迅速上升,乘积越过 1,闭环从抑制切换到放大。这解释了为什么很多世界模型在离线指标上很好看,一上线却在某个特定场景突然崩掉——崩掉的位置不是误差最大的位置,而是 Γ 最大且策略最敏感的位置。
反馈为什么不修正估计误差
同一个动作施加在两个系统上
回到标量例子。若模型对自身动态与动作效果的估计都正确(Δa=Δb=0),误差递推退化为 et+1=a^et。注意它不是 (a−bk)et,也不是 (a^−b^k)et。闭环反馈的稳定作用在相减时抵消了,因为控制器对模型状态和真实状态施加的是同一个动作:模型和真实系统被同样的输入驱动,它们的差就按各自的自然动态演化,反馈无从介入。
这个结论值得反复确认,因为它推翻了「闭环会自动纠错」的直觉。反馈能纠错的前提是:偏差会改变测量,测量与设定值的差驱动修正。而在「控制器读模型信念」的结构里,模型状态本身就是测量,偏差已经包含在测量里,回路看不到「真值」与「信念」的差。除非有一个独立的观测通道能把两者分开,否则反馈只是在维持一个自洽但错误的世界。
可观测、可控与「看不见的方向」
把误差按方向分解,可以得到一张诊断表:
| 误差方向 | 闭环行为 | 典型来源 |
|---|---|---|
| 可观测且可控 | 观测产生 innovation,滤波器修正;控制器能抵消 | 编码器噪声、初始状态偏差 |
| 可观测但不可控 | 控制器持续对抗,容易饱和,形成稳态偏移 | 执行器故障、外部持续扰动 |
| 不可观测 | 回路完全看不见,永远不修正 | 隐变量偏置、未建模自由度、传感器缺失维度 |
第一类是良性的,也是控制理论最擅长处理的。第二类会把控制器推到饱和,饱和之后有效增益下降,误差反而更难收。第三类是世界模型特有的麻烦:潜空间的某些维度没有对应的观测监督,模型可以在这些维度上随意漂移,而策略可能恰好依赖它们做决策。第十二篇讲几何表示时提到的尺度歧义、第十三篇讲物体中心表示时提到的槽位错配,都属于这一类——它们在像素重建损失上几乎不体现,却能让策略选错动作。
这也解释了为什么单纯提高重建精度不一定改善闭环表现。重建损失对所有像素一视同仁,而闭环只关心「策略敏感的方向」上的误差。一个在背景纹理上错得很离谱、在物体位姿上错得很小的模型,重建 MSE 可能不低,闭环表现却很好;反过来,背景完美、关键物体偏移几厘米的模型,MSE 更低,闭环却会撞上去。
为什么闭环只关心「策略敏感的方向」,可以从反馈回路的最小实现里看出来。控制理论里最经典的反馈是比例项 u=−ke,其中误差 e 由「传感器测到的量与设定值」相减得到。这个结构成立的前提是误差本身可以被测量。世界模型接管以后,被「测量」的量变成了信念,设定值也往往由模型算出,误差的定义不再指向真实状态。于是闭环里唯一还在测量真实世界的,只剩传感器那一条通道;它测什么方向,闭环就能纠什么方向,其余方向全部交给模型的自洽性。这也是为什么第七篇把「观测与信念对齐」列为部署环节里必须显式做的一件事:对齐不是把两个数调成相等,而是保证反馈回路里至少有一条通道不经过模型。
环路里还有两个乘数:延迟与重锚定
一步延迟如何砍掉一半增益预算
前面的递推假设动作在同一时刻生效。真实系统里,从观测进入、模型推理、动作下发到执行器响应,中间隔着至少一个控制周期。把这段延迟折算成整数步 d,最简单的受控对象 st+1=st+but 与延迟动作 ut−d=−kst−d 给出
st+1=st−bkst−d特征方程为
zd+1−zd+bk=0d=0 时特征方程是 z−(1−bk)=0,稳定条件为 0<bk<2;d=1 时特征方程变成 z2−z+bk=0。它的两个根和为 1、乘积为 bk,求根公式给出 z=(1±1−4bk)/2。当 bk>1/4 时两根共轭,模长均为 bk;当 0<bk≤1/4 时两根为实数,较大根小于 1 等价于 bk>0。合并起来,稳定条件就是 0<bk<1。仅仅一个控制周期的延迟,就把可用增益上限砍掉一半。d 继续增大,增益预算继续缩小,延迟越多,能用的增益越小,d 越大衰减得越快。
把这条结论翻译成部署语言:推理延迟不是「慢一点」,它是从稳定裕度里直接扣钱。 第七篇给出的延迟预算表里,δinfer、δnet、δact 每一项都会折算成延迟步数。控制周期 20 ms、端到端延迟 100 ms,等效延迟就是 5 步;此时按无延迟调出来的增益,几乎必然在闭环里振荡。
更隐蔽的一点是:提高控制频率并不自动改善稳定性。如果推理时间不变,把控制周期从 20 ms 缩到 10 ms,延迟步数从 5 变成 10,特征方程的阶数更高、增益预算更小。频率提高带来的采样精度,可能抵不过延迟裕度的损失。这也是为什么许多实时系统宁愿降低控制频率、把动作成块下发,也不愿意追最高的采样率。
动作分块:把延迟写进结构
动作分块(action chunking)是机器人策略里的常见做法:一次推理输出未来 C 步的动作,执行器按顺序执行,执行完再推理下一块。ACT 在 2023 年用这个做法把低成本双臂操作做到了当时的可用水平,Diffusion Policy 也采用「预测一段动作、执行其中一部分」的滚动形式。从闭环误差的角度看,分块有两个相反的作用:
- 好处:降低推理频率,减少模型误差进入回路的次数;块内动作连续,避免了逐步重规划带来的抖动;对高延迟的模型,分块是唯一能维持高频执行的工程手段。
- 代价:块长 C 等价于最多 C 步的响应延迟。执行块的过程中,新的观测无法改变已经在执行的剩余动作。若块内世界发生变化(物体被碰走、地面打滑),策略要等整块执行完才能反应。
这就把 C 变成了一个和控制器增益同等重要的设计参数。块太短,推理频率高、延迟小,但每步都要吃一次模型误差,且动作容易抖;块太长,动作平滑、算力省,但等效延迟大、稳定裕度小。ACT 的做法是执行整块, Diffusion Policy 的做法是每次只执行前若干步再重规划——后者本质上是用更高的推理频率换更小的等效延迟,代价是算力。
重锚定:把乘法变成加法
开环复合误差的可怕之处在于它是乘法:h 步之后误差上界是单步误差乘以 Lh。闭环里每一次用新观测重置信念,都会把这条乘法链切断一次。若每个控制步都重锚定,偏差递推变成
dt+1=ρdt+gϵt+wt它的解是
∥dt∥≤ρt∥d0∥+gi=1∑tρt−i∥ϵi∥+i=1∑tρt−i∥wi∥当 ρ<1、且每步注入的误差有界 ∥ϵi∥≤ϵˉ 时,第二项收敛到 gϵˉ/(1−ρ)。也就是说:重锚定把指数增长的乘法过程,换成了有界的加法过滤过程。 这是闭环相对开环最重要的结构性优势,也是「为什么部署时一定要用观测」的数学理由。
代价同样清楚。重锚定注入的 ϵt 包含编码器噪声与后验采样噪声,频率越高,注入越频繁;ρ 越接近 1,这些噪声累积得越多。所以「每步都重锚定」并不总是最优:如果模型在短视野内比编码器更可靠(例如视觉被遮挡、本体感觉漂移),适当让模型多跑几步再校正,反而更稳。这是一个需要按传感器可靠性分配的预算,而不是一条「越频繁越好」的教条。
任务相关误差:不要用像素 MSE 当闭环指标
闭环只对「策略敏感的方向」上的误差有反应。把这一点写成可测量的量:设任务的价值函数或代价函数为 V(s),则一个信念误差 e 对决策的实际影响约为
δV≈∇sV⊤e闭环真正该监控的是
Etask=E[(∇sV⊤e)2]而不是 E[∥e∥2]。PILCO 在 2011 年就提出过类似的观点:模型基控制真正需要的是「策略评估所依赖的那部分模型误差」可控,而不是单步误差处处最小。两者可以差很远:机械臂末端几厘米的位置误差,若发生在抓取方向上,梯度很大,任务直接失败;同样几厘米若发生在垂直于抓取方向,梯度接近零,任务毫发无损。视觉世界里,天空纹理的误差梯度为零,前方车辆的深度误差梯度极大。
这个度量有一个实用推论:评估世界模型时,应该按任务梯度加权采样,而不是均匀采样测试集。 第六篇讲的评测栈之所以要分「物理一致性」「反事实响应」「长程记忆」三层,本质就是在补足均匀 MSE 看不到的方向。
什么时候放大:三种在真实系统里反复出现的机制
机制一:系统性偏差把系统稳定在错误的位置
模型对某个状态量有恒定偏差,控制器会把这个偏差当成真实偏差去抵消,最后真实系统停在一个错误但自洽的平衡点上。写成标量就是前面那个 d∞=geˉ/(1−ρ)。偏差越大、闭环越软(ρ 越接近 1)、增益越大(g 越大),偏移越严重。
工程上最典型的例子是零位偏差:关节编码器的零点偏了 2 度,模型学到的动力学也带着这 2 度,策略以为手臂已经伸直,实际还差 2 度。视觉伺服可以纠正它,因为相机会看到真实末端位置;纯本体感觉的策略则永远纠正不了,因为整条链路对「2 度」是自洽的。这又回到可观测性:偏差落在没有被独立观测覆盖的通道里,闭环无法发现它。
机制二:模型利用在闭环里变成「主动追逐幻觉」
第十一篇讲过模型利用:策略在模型里寻找奖励被高估的状态。开环分析里,这表现为策略选择的动作在模型里回报很高、在真实环境里很低。闭环分析里,这个现象更严重,因为策略不是被动地遇到模型误差大的状态,而是主动把系统开向那里。
用中心公式读这件事:策略优化的方向,恰好是让 BKΓ 最大的方向。因为策略要找的是价值梯度最大的地方,而价值梯度大的地方往往也是数据稀疏、模型外推最不可靠的地方。于是 Γ 在策略最敏感的方向上取到最大值,环路增益按最坏情况而非平均情况计算。这解释了为什么集成、悲观惩罚这类「防模型利用」的手段在闭环里仍然必要:它们压的不是平均误差,而是策略主动选择的那个方向上的误差。
机制三:饱和把线性稳定变成非线性极限环
执行器有物理上限。偏差大到一定程度,控制器算出的修正量超过执行器能力,实际动作被截断,有效增益从 K 掉到 Ksat。此时线性分析失效:偏差不再按 ρ 衰减,而是维持在一个「饱和—偏离—再饱和」的循环里。
更麻烦的是,饱和通常发生在状态已经离开训练分布之后。模型在饱和区的外推误差更大,Γ 更大,而有效增益却更小,两个效应叠加,系统可能卡在一个持续振荡的状态里出不来。工程上的应对不是加大增益(那会更快饱和),而是提前限幅、速率限制、以及在接近饱和时切换到更保守的控制器。
把饱和写成显式形式,可以看到极限环是怎么形成的。设控制器输出为 ut=−kst,但执行器只能给出 [−umax,umax] 之间的动作,于是
ut=clip(−ks^t, −umax, umax)偏差小的时候,系统按线性分析运行,∣s∣ 按 ρ 指数衰减;信念大到超过 umax/k 时,控制器进入饱和区,有效增益从 k 掉下来。如果此时模型仍然坚持「再给一点修正就能回到目标」,动作会一直顶在上限,系统以恒定的输入冲向目标,冲过目标之后,偏差反向变大,另一侧的饱和又被触发。整个轨迹就变成一个在目标两侧来回摆动的极限环,幅度由饱和阈值与动力学共同决定,与初始偏差大小关系不大。
闭环误差分析在这里给出一个可操作的启发:模型一旦低估动力学,就会在真正需要的时刻被截断,把原本的线性收敛变成极限环。 因此限幅值不能完全按模型给出的最坏偏差反推,要按真实动力学留出余量。限幅不是保守,它是在给模型的错误预留空间。
这张图来自 MBPO 论文(Michael Janner 等,2019 年公开、2020 年发表于 ICLR)。左图横轴是评估策略与训练策略之间的 KL 散度,纵轴是模型误差(对数坐标),每条曲线对应不同数量的训练数据。曲线随横轴上升,说明策略偏离训练分布越远,模型错得越多——这条斜率就是前面公式里的 Γ。数据量增加时曲线整体下移、斜率变缓,说明更多覆盖能降低误差对分布偏移的敏感度。右图把「误差随分布偏移的局部变化率」单独画出来,作为模型泛化能力的代理指标。
这张图值得细看的地方在于:误差不是由模型单独决定的,而是由模型和策略共同决定的。 同一个模型,配一个保守的策略,误差可以很小;配一个激进的策略,误差迅速变大。所以「这个模型准不准」这个问题本身不完整,完整的问题是「这个模型在这个策略访问的分布上准不准」。闭环设计要同时管住模型和策略,而不是只优化模型。
什么时候抑制:真实系统里的四种结构性做法
缩短前馈视野
第十一篇已经讲过 MBPO 的结论:模型 rollout 长度 k 的最优值由「短视野丢失未来信息的指数衰减」与「长视野复合误差的线性增长」两项共同决定。在闭环语境里,同一个结论有另一种解读:前馈视野就是环路里的开环段长度。 模型滚 k 步做出的决定,在这 k 步里没有任何外部观测打断;开环段越长,误差有越长的时间指数增长。
MBPO 的实验佐证了这一点:在 Hopper 任务上,线性把 k 从 1 增加到 15 的计划表现最好,但固定 k=1 也保留了模型方法大部分收益。也就是说,缩短视野的收益在 k 很小时就已经基本兑现,继续拉长只换来递减的增益和递增的误差风险。这个结论对部署的启示很直接:与其把算力花在更长的预测上,不如把算力花在更频繁的重锚定上。
提高重锚定频率,但按传感器可靠性分配
上一节已经给出重锚定的收益:把乘法链切成加法过滤。实践中需要确定的是「多久一次」。可用的判据是比较两种输入的噪声:编码器/后验的噪声与模型短视野预测的误差。哪个小,就在哪里重置。
一个具体的分工方式:
- 视觉通道每帧重锚定潜空间的观测部分,因为相机噪声小、延迟可控。
- 本体感觉(关节角、力矩)以更高频率重锚定,因为它直接反映执行器的真实行为。
- 隐状态中不可观测的部分(物体质量、地面摩擦)不重锚定,交给模型自回归维护,并对其不确定性做显式跟踪。
第三类是最危险的,因为它没有观测监督。工程上对它的处理通常是限制它的影响范围:不让策略直接依赖不可观测的隐变量做高风险决策,或者在不确定性大时退回到保守策略。
限制环路增益,而不是求最低误差
环路稳定性条件里,∥BK∥⋅∥Γ∥ 必须小于 1−ρ(A+BK)。三项里,Γ 由模型决定、难以直接控制,BK 由控制器与策略决定、可以直接控制。所以工程上最有效的调节杆不是「把模型训得更准」,而是「在 Γ 大的状态下降低 ∥BK∥」。
实现方式有几种。一是速率限制与动作平滑,限制单步动作的幅度,等效压低环路增益。二是增益调度:根据模型的不确定性估计,在不确定性高的状态下降低控制增益,这不是在「信任模型」,而是在「知道模型在哪不可信时少用它」。三是把模型放进一个保守的外壳——安全滤波器、控制屏障函数、或者简单的动力学约束——让即使模型错了,输出动作也不会立刻造成不可逆后果。
TD-MPC2 的设计提供了一个有意思的对照。它在潜空间里做规划,用采样加精英选择的方式选出动作,规划视野固定为 3、种群规模 512、迭代 6 次(动作维度较大时 8 次)。这里的视野之短、种群之大,本身就是对误差的工程回应:视野短降低复合误差,种群大多次采样降低单次规划的方差。
这张图来自 TD-MPC2 论文(Nicklas Hansen 等,2023 年公开)。观测 s 先被编码成归一化的潜表示 z,模型随后递归地预测动作 a^、奖励 r^ 与终止价值 q^,不解码未来的观测。这一条设计对闭环误差的意义在于:它把「预测什么」从「重建整个画面」收缩到「策略决策需要的那几个量」。重建式模型要在整个观测空间里都对,而 TD-MPC2 只需要奖励与价值估计在对的方向上准。代价是它失去了可视化想象能力与更丰富的反事实能力——这是第十二到十八篇讨论过的路线取舍,在闭环语境里重新变成一道工程题:为了让环路稳定,模型应该被要求预测得少而准,而不是多而花。
给模型配一条不经过它的旁路
最后一种做法是把模型从关键反馈通道里移出去。模型负责给动作打草稿,但真正闭环的是那些不依赖世界模型的控制器:关节级的位置伺服、碰撞检测、急停。这些旁路的带宽高、延迟低、误差特性已知,且它们的稳定性不依赖世界模型的 Γ。世界模型只在这些旁路之上做「慢速决策」。
分层结构天然适合这种分工。第十四篇讲过分层世界模型:上层以秒为周期做语义决策,下层以毫秒为周期做伺服。把误差分析叠加到分层上,会得到一个相当干净的结论:上层可以容忍更大的模型误差,因为它下发的决策周期长、可重新评估;下层不能容忍大的模型误差,所以它基本上不应该由世界模型驱动。 第七篇部署环节里「安全兜底」的工程要求,在数学上就是这个不对称性。
用世界模型做规划:想象出来的轨迹算不算闭环
规划器把世界模型当成「可以反复试错的环境」:在内部展开若干未来,比较代价,挑一个动作执行。这种结构与在线闭环有一个模糊的边界——想象的展开本身没有外部观测,但它每隔几步就被真实观测重置;执行的动作又进入真实世界,产生新的观测。弄清楚哪一段是开环、哪一段是闭环,是判断误差命运的前提。
Drive-WM 的规划树:在想象里试错,在执行里只交一个动作
自动驾驶里的 Drive-WM(Wang 等,2023 年公开,论文标题 Driving into the Future)给出了一个把世界模型当作规划器、同时保持真实闭环的例子。它在时刻 T 用世界模型想象多个未来,在当前帧上判断「直行安全」,又把时间推到 T+2K,发现按当前轨迹自我车会离前车太近,于是决定变道。
这张图是 Drive-WM 的框架总览。上半部分给出训练与推理流水线:多视角视频被压缩到潜空间,条件(轨迹、3D 框、高清地图等)统一注入,扩散式去噪生成未来画面,推理时按规划需要逐步展开。下半部分是多视角生成的分解方式:先生成三个视角,再以它们为条件补全其余视角,以换取视角间的一致性。对闭环而言,关键信息是:世界模型只在潜空间里做有限步的展开,每步都被条件约束,而不是让画面自由发散。 条件相当于每一步的「外部锚点」,它把发散限定在可控范围内。
这张图展示规划树的结构。上方是规划流水线的各个组件:世界模型生成候选未来、由图像奖励函数给出「安全」判断、再由决策模块在树里搜索。下方是规划树的展开:每个节点是一段想象出来的未来,分支对应不同的动作假设,叶节点的颜色表示基于图像的奖励(地图奖励、物体奖励、其他车辆等)。这里有一个重要的结构性事实:规划是树状的,而不是单链的。 树状展开让策略能在想象里比较多个可能,而不是沿一条轨迹一条道走到黑;分支的深度就是前馈视野,分支的宽度就是算力预算。
把这张图和前面的误差分析对应起来:规划树的深度乘以单步 L,决定每一支上的复合误差;树的宽度决定能否有一个分支踩在误差小的区域。两者都是算力问题。Drive-WM 的做法是把深度控制在实际可用的范围内,用条件约束每一步的漂移,并在每个控制步都用真实多视角图像重新采样候选轨迹、重新想象、重新打分,把真实执行放进重锚定循环。也就是说,想象是开环的,执行是闭环的,每一次执行都是想象的一次重锚定。
规划与执行的两种时间尺度
把规划与执行分开,会看到两个不同的误差问题:
- 规划内部:模型展开 H 步,做树搜索。这里适用第十一篇的开环分析,误差上界是 εLH 量级。H 大了,每一支都不可信,树就变成了在噪声里挑最大值的装置。
- 执行循环:每一步拿真实观测重锚定,适用本文的闭环分析,误差是有界的加法过滤。
两种尺度的误差有一个不对称:规划里的误差影响的是「选哪个动作」,执行里的误差影响的是「动作造成什么」。前者可以通过多看几个候选来缓解(宽度换可靠性),后者只能靠压低增益、缩短延迟、提高重锚定频率。
Cosmos 这类通用世界基础模型则主要服务于离线数据生成与仿真,不承担在线闭环的实时决策。这解释了为什么真实系统里的规划视野普遍很短。TD-MPC2 的规划视野是 3,MBPO 的 rollout 长度最优值在 1 到 15 之间,Drive-WM 的树在 K 量级上展开。这些系统都不在长视野上做在线闭环决策,因为长视野的想象更适合离线比较,而不是实时控制。
Dreamer 的想象:只用于学习,不进入部署回路
Dreamer 系列(Hafner 等,2023 年公开 DreamerV3,标题为 Mastering Diverse Domains through World Models)的想象发生在训练阶段:策略在学到的世界里做 imagination rollout,用想象出来的奖励与价值更新 actor 与 critic。部署时进入真实环境的,是学好的 actor,而不是那个世界模型。
这两张图区分了 DreamerV3 的两个训练环节。第一张是世界模型学习:观测被编码成潜状态,动力学在潜空间里推进,解码器重建观测、奖励与终止信号;训练目标是让世界模型在多步预测上合理。第二张是 actor-critic 学习:策略在想象出来的潜空间轨迹上更新,奖励来自世界模型的预测。DreamerV3 的预测视野是 T=16(论文给出的 16 步),critic 用引导 bootstrap 处理视野之外的回报。
从闭环误差的角度看,Dreamer 的结构有一个关键的隔离:想象只影响参数,不影响动作。 这是第十一篇已经点出的不对称——想象经验更新策略,但不反过来更新世界模型,也不直接进入执行回路。世界模型的误差通过「策略参数」这条慢通道进入系统,而不是通过「状态」这条快通道。误差被延迟、被平均、被真实经验稀释,这比让误差直接闭环要温和得多。代价是策略继承了模型偏差的偏置,且这种偏置一旦固化,很难由在线反馈纠正——它已经变成了策略的先验。
这就是路线选择在闭环里的真实含义:把世界模型放在部署回路里(规划/动作生成),误差是快的、可重锚定的、但可能被放大;把世界模型放在训练回路里(Dreamer),误差是慢的、被稀释的、但会固化成偏置。 两者都不是免费的,工程决策是在两种误差形态之间选。
这两种选择对「重锚定」的依赖程度也不同。部署回路里的世界模型每一步都被观测重锚定,ϵt 每步清一次,误差表现为有界的加法过程;训练回路里的世界模型在 imagination 中连续滚 T=16 步,中间没有任何观测,ϵt 会按第十一篇的 Lh 累积。也就是说,Dreamer 式的想象恰恰是开环复合误差最严重的场景,只是它把误差导向了参数而不是动作。理解了这一点,就能解释 Dreamer 系列为什么在长视野任务上需要大量真实交互来纠正偏置:想象里的误差越大,策略从想象里学到的偏置越深,而这条偏置通道没有在线闭环可以直接观测并修正。
DreamerV3 论文里那张开环长视野预测图,把「模型在闭环之外能滚多远」直观地画了出来。
这张图来自 DreamerV3 论文(Hafner 等,2023 年)。上排是 DMLab 迷宫,下排是四足机器人:给定 5 帧上下文图像和完整动作序列,世界模型在看不到任何中间图像的情况下预测未来 45 帧。这正是闭环里绝不会发生的设定——真实部署时每隔一帧就有新观测进来。它之所以能用 45 帧这么长的视野展示,是因为这里评的是开环能力;而一旦进入闭环,视野会被重锚定切短到几步之内。对照前一节的分析:开环图上看起来还能撑几十帧的预测,对应的 Γ 可能已经很大;闭环里之所以仍然工作,靠的不是模型撑得久,而是每帧重锚定把乘法链切断了。
怎么测:把环路增益测出来,而不是猜出来
前面所有公式都依赖三个量:BK、Γ、ρ(A+BK)。这三个量不需要解析求导也能测。下面给出一套可以在仿真里执行、再迁移到真机的协议。
指标一:开环与闭环的落差
最便宜的诊断是比较同一套权重、同一批初始状态下的两种成功率:在模型里滚完整条任务的成功率,和在真实环境里执行的成功率。设前者为 popen、后者为 pclosed,落差
Δgap=popen−pclosed若 Δgap 很小,说明模型误差落在策略不敏感的方向上,或者闭环结构已经把误差压住;若 Δgap 很大,说明模型在「自己觉得对」的地方系统性偏错,且策略正依赖这些方向。这个落差不告诉你根因,但它是最快的分流器:先知道该不该继续查,再决定查哪一段。
指标二:扰动注入,测误差的衰减率
在任务进行到某个阶段时,不改变真实世界,只把模型的信念偏移一个已知量 δ,然后让策略继续在真实环境里执行,记录真实状态相对标称轨迹的偏差随时间的变化。对偏差包络做指数拟合,得到实测衰减率 ρ^。
判读方式很直接:
- ρ^ 明显小于 1:闭环在收缩误差,反馈通道有效。
- ρ^≈1:误差既不衰减也不放大,说明控制回路对这类误差没有校正能力,典型原因是误差落在不可观测方向,或者控制器读的正是被偏移的信念。
- ρ^>1:有效环路增益超过 1,正在放大。
同一个模型在不同任务阶段会给出不同的 ρ^。在数据覆盖充分的区域测得 0.6,在接触、遮挡、高速运动等稀疏区域测得 1.1,是完全正常的。要建立的是「ρ^ 随状态的分布」,而不是一个全局平均值。
指标三:偏置注入,测稳态偏移与可观测性
给某个状态通道或观测通道注入常数偏置 eˉ,等系统稳定后测量真实状态与目标状态的稳态差。若稳态差接近零,说明闭环能观测并抵消这个偏置;若稳态差随注入量线性增长,斜率就是 g/(1−ρ)。
这条测试最有价值的地方是识别不可观测通道:对某个潜变量维度注入偏置,如果稳态差完全不变,说明策略根本不依赖它,或者该维度被其他观测约束住了;如果任务性能显著下降但状态差测不出来,说明该维度在内部起作用却没有外部监督——这正是前面说的第三类误差。对这类维度,工程上要么补传感器,要么在策略里显式降权。
指标四:延迟扫描,测稳定裕度
在控制回路里人为插入 k 步延迟,从小到大扫描,记录任务指标与动作振荡幅度。找到指标开始明显退化的临界 k⋆。部署时的实际延迟步数 kdeploy 与临界值之间的差,就是稳定裕度:
mdelay=k⋆−kdeploy这个裕度应该以「步」为单位写进部署文档,而不是以毫秒。因为稳定性由步数决定,而步数会随控制频率变化——同样的 100 ms,在 20 ms 周期下是 5 步,在 10 ms 周期下是 10 步。
指标五:任务相关误差,替代 MSE
最后把评估指标本身换掉。给定价值函数或代价函数的梯度,计算
Etask=N1i=1∑N(∇sV(si)⊤ei)2并与原始 MSE 一起报告。两个数一起看,能区分三种情况:MSE 低且 Etask 低,模型可用;MSE 低但 Etask 高,误差落在关键方向,闭环会放大;MSE 高但 Etask 低,模型在无关方向浪费容量,可以压缩或换预测目标。
这五项测试合起来,构成一套闭环验收的最小集。它们都能在仿真里先做,再按风险等级迁移到真机;第七篇讲过的影子模式与回放测试,可以作为这套协议的上线前补充,而不是替代——回放无法评估「策略改变后世界会怎样变化」,扰动注入和偏置注入恰好补上这一块。
延伸:多入口时误差也会串门
多入口同时控制同一个世界时,每一条动作线都是一个闭环,误差因此也有多条环路。第十九篇的环路增益公式在多入口情形下要逐入口评估:某个入口上的模型误差只直接影响它自己的动作,但动作效果会改变世界状态,再通过其他入口的观测进入它们的回路。这就是第十八篇说的共享状态在误差层面的代价——共享一个世界,就共享了一部分误差传播。工程上通常给每个入口单独做扰动注入测试,看它的误差是否会经过共享状态传导到别的入口,据此决定共享状态里哪些量需要权威仲裁、哪些量允许各入口各自维护。
双臂搬运是最直观的例子。两只机械臂共同夹住一个物体,各自有自己的世界模型与控制器。左臂的模型低估了物体质量,它给出的抬升动作比实际需要的小,物体实际位置低于它的信念;右臂通过自己的观测看到物体偏低,加大抬升力。这个额外的力又改变了左臂观测到的接触力,左臂据此修正,两个回路通过物体耦合在一起。单独看,每个臂的闭环都稳定;合起来,耦合项的增益可能把整体推到振荡。中心公式在多入口情形下要写成块矩阵形式,
dt+1i=(Ai+BiKi+BiKiΓi)dti+j=i∑Cijdtj+BiKiϵtidti 是第 i 个入口的偏差,Cij 是第 j 个入口的偏差通过共享物体传导到第 i 个入口的耦合矩阵。整体稳定与否取决于这个块矩阵的谱半径,而不是每个对角块的谱半径。两个各自稳定的回路,加上足够强的耦合,仍然可以整体失稳。
工程上的应对通常不是继续调各自的增益,而是改变耦合结构:指定一个入口做「领导者」,由它维护共享状态的权威版本,其他入口按顺从控制跟随;或者把物体做成柔性连接,用机械柔顺性吸收高频的耦合振荡;再或者降低所有入口的增益,用整体响应变慢换取耦合稳定。第十八篇讲的权威状态与记录级多写者,在这里获得了误差层面的解释:共享状态的写入协议,本质上是在决定耦合矩阵 Cij 的形状。
把结论收成一张工程清单
这一篇的推导线可以压成一条:闭环误差的递推是
dt+1=(A+BK+BKΓ)dt+BKϵt+wt- 括号里的 A+BK 是反馈的稳定作用,它让真实偏差自己衰减。
- 额外的 BKΓ 是模型的反馈作用,偏差越大、模型越不准,它就越强。
- 闭环能不能稳住,取决于 ∥BK∥⋅∥Γ∥ 是否小于稳定裕度 1−ρ(A+BK)。
由此可以得到五条可以直接执行的工程判断:
- 误差的「质」比「量」重要。 零均值、快速变化、落在策略不敏感方向上的误差,会被反馈系统过滤成有界噪声;常数偏差、与状态强相关、落在高价值梯度方向上的误差,会直接变成稳态偏移或正反馈。评估世界模型时,要把误差按任务梯度加权,而不是只看平均 MSE。
- 反馈不自动纠错。 当策略读模型给出的信念时,同一个动作同时施加在模型与真实系统上,二者的差按模型自身动态演化,回路看不到「信念与真值之差」。要纠错,必须有独立的观测通道把两者分开,或者让模型在短视野内反复被真实观测重锚定。
- 延迟就是稳定裕度。 一个控制周期的延迟就能把可用增益上限砍掉一半。推理延迟、网络延迟、执行链路延迟都要折算成延迟步数,计入稳定预算。动作分块在降低推理频率的同时引入了块长延迟,块长是需要和增益一起调的参数。
- 重锚定把乘法换成加法。 每步重锚定把复合误差的 Lh 指数增长,换成 gϵˉ/(1−ρ) 的有界过滤。频率不必越高越好,要按传感器可靠性分配;不可观测的隐状态无法重锚定,必须限制其影响范围。
- 把世界模型放在训练回路还是部署回路,是两种误差形态的取舍。 放进部署回路(规划、动作生成),误差来得快、可以重锚定,但可能被环路放大;放进训练回路(Dreamer 式想象),误差被稀释,但会固化成策略偏置。Drive-WM 选择「想象开环、执行闭环」,Dreamer 选择「想象只影响参数」,TD-MPC2 选择「预测得少而准」,三种选择都能用同一个环路增益公式来评估。
一句话概括这一篇:世界模型的误差在闭环里不是被消除的,而是被改写——反馈决定了它被压成有界噪声、保持为稳态偏移,还是被放大成一次偏离。 工程上能做的最有效的事,不是把模型训得更准,而是让环路里的每一项增益都留在预算之内。
系列走到这里,误差从开环想象走进了闭环执行。还有一条相邻的线索没有被单独处理:一个会话里积累的世界状态,如何迁移到另一个会话——不是共享同一时刻的状态,而是把「走过这个世界的经验」带走。下一篇将讨论跨会话的世界状态迁移。
参考资料
- When to Trust Your Model: Model-Based Policy Optimization(Janner 等,2019,arXiv:1906.08253)
- Mastering Diverse Domains through World Models(DreamerV3,Hafner 等,2023,arXiv:2301.04104)
- TD-MPC2: Scalable, Robust World Models for Continuous Control(Hansen 等,2023,arXiv:2310.16828)
- Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving(Drive-WM,Wang 等,2023,arXiv:2311.17918)
- PILCO: A Model-Based and Data-Efficient Approach to Policy Search(Deisenroth 与 Rasmussen,ICML 2011)
- Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(ACT,Zhao 等,2023,arXiv:2304.13705)
- Diffusion Policy: Visuomotor Policy Learning via Action Diffusion(Chi 等,2023,arXiv:2303.04137)
- Model-based Reinforcement Learning: A Survey(Moerland 等,2020,arXiv:2006.16712)
- Cosmos World Foundation Model Platform for Physical AI(NVIDIA,2025,arXiv:2501.03575)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



