世界模型从零讲起(十九):误差走进闭环——反馈是在放大还是抑制模型的偏差

14444 字
72 分钟
世界模型从零讲起(十九):误差走进闭环——反馈是在放大还是抑制模型的偏差

承接前十八篇:把误差放进一个会反应的环里

前十八篇把世界模型从定义讲到了系统。第一篇给出形式化:世界模型是「在内部表征里模拟观测如何随动作演化」的模型;第二到第五篇拆了重建式、联合嵌入、视频生成式与动作生成式四条技术路线;第六篇讲评测,第七篇讲部署,第八篇讲潜空间规划,第九、十篇讲推理系统与能耗硬件;第十一篇专门拆了开环想象里的复合误差,把「L>1L>1 时误差按 LhL^h 指数增长」这个结论推到了台面上;第十二到十八篇补了几何表示、物体中心、分层结构、预算地图、动作接口、长程记忆与共享世界状态。

这些篇目里,误差大多是在开环条件下被讨论的:给模型一段真实的初始状态和一段给定的动作序列,让它往前滚 hh 步,再和真实轨迹比。开环分析干净、可复现,也确实是所有世界模型论文的标准评测口径。但它漏掉了一件事:在真正部署的闭环里,模型输出的不是一段被评分的轨迹,而是下一步要执行的动作;动作会改变真实世界,改变后的真实世界又作为新的输入回到模型里。 误差不再只是沿时间轴自己长大,它会通过「误差 → 动作 → 真实状态 → 新观测 → 新误差」这条路绕回来,形成一个反馈环。

这一篇就讲这个反馈环。核心问题只有一个:同一个预测偏差,进入闭环之后,会在什么条件下被压住,又在什么条件下被放大? 会看到,答案不是「模型越准越好」这么简单。闭环里的误差演化由两个增益共同决定:一个是真实被控对象自身的闭环增益,它天然抑制扰动;另一个是模型失配经过控制器增益之后形成的环路增益,它可能把一个小小的状态偏差放大成一次不可恢复的偏离。两者相减,才是世界模型在闭环里真正要付的账。

先把结论放在前面:世界模型的误差不可怕,有结构、零均值、快速变化的误差在闭环里往往无害;系统性偏差、与状态强相关、落在任务敏感方向上的误差才致命。 而工程上真正有效的做法,不是把模型训得更准,而是改环的结构——缩短前馈视野、提高重锚定频率、限制环路增益、给模型配一条不经过它的反馈通道。

开环与闭环:同一段误差,两种命运

一个一维的玩具例子

为了把「放大还是抑制」讲成可以算的东西,先看一个最小的例子。设真实系统是一维的:

st+1=a st+b ut+wts_{t+1} = a\,s_t + b\,u_t + w_t

其中 sts_t 是真实状态,utu_t 是执行的动作,wtw_t 是外部扰动,aa 是状态自身的衰减(∣a∣<1|a|<1 表示无控制时状态会自己回到零),bb 是动作对状态的作用强度。学到的世界模型是:

s^t+1=a^ s^t+b^ ut\hat{s}_{t+1} = \hat{a}\,\hat{s}_t + \hat{b}\,u_t

a^\hat{a}、b^\hat{b} 是模型参数,和真实值之间差了 Δa=a^−a\Delta a = \hat{a}-a、Δb=b^−b\Delta b = \hat{b}-b。控制器用比例反馈把状态推向零:

ut=−k s^tu_t = -k\,\hat{s}_t

kk 是控制器增益。这里故意让控制器读的是模型给出的信念 s^t\hat{s}_t,而不是真实状态——这正是世界模型在闭环里的位置:策略看到的是模型的估计,而不是上帝视角的真值。

先假设从第一步起就有估计误差 et=s^t−ste_t = \hat{s}_t - s_t。把控制器代入模型:

s^t+1=(a^−b^k) s^t\hat{s}_{t+1} = (\hat{a} - \hat{b}k)\,\hat{s}_t

把控制器代入真实系统:

st+1=(a−bk) st−bk et+wts_{t+1} = (a - bk)\,s_t - bk\,e_t + w_t

两式相减,得到误差自身的递推:

et+1=(a^−Δb k)⏟误差自身的增益 et  +  [(a^−b^k)−(a−bk)]⏟模型失配项 st  −  wte_{t+1} = \underbrace{(\hat{a} - \Delta b\,k)}_{\text{误差自身的增益}}\,e_t \;+\; \underbrace{\big[(\hat{a}-\hat{b}k) - (a-bk)\big]}_{\text{模型失配项}}\,s_t \;-\; w_t

这个式子不长,但它把闭环误差的两种来源分得很清楚。

第一项是误差的自我传播。矩阵部分是 a^−Δb k\hat{a} - \Delta b\,k。注意它不是 a^−b^k\hat{a}-\hat{b}k,也不是 a−bka-bk。真实闭环动态 a−bka-bk 会衰减状态偏差,但这份衰减同时作用在模型和真实系统上,相减时抵消了;剩下的是模型自身的动态 a^\hat{a},再减去「动作增益的模型误差」被控制器放大后的部分 Δb k\Delta b\,k。这是第一个反直觉结论:控制器读模型状态时,反馈并不会自动修正估计误差,因为同一个动作同时施加在两个系统上,差异被原样保留。 只有当模型对动作效果的估计有偏差(Δb≠0\Delta b \neq 0)时,控制器的高增益 kk 才会在误差通道里留下痕迹——而且这一项带负号,意味着 Δb k\Delta b\,k 越大,误差衰减得越快;如果 b^\hat{b} 小于真实 bb,这一项反而变成正反馈。

第二项是模型失配持续注入的误差。只要真实状态 sts_t 不为零,Δa st−Δb k st\Delta a\,s_t - \Delta b\,k\,s_t 就不断产生新的偏差。它不随 ete_t 衰减,因为它由轨迹本身驱动。闭环把状态推得越远、越剧烈,这一项就越大。

第三项 −wt-w_t 是外部扰动,被原样计入模型与现实之差。

三种命运

把上面的递推按 a^−Δb k\hat{a} - \Delta b\,k 的绝对值分类,就得到三种命运:

条件误差行为工程含义
∣a^−Δb k∣<1\lvert \hat{a} - \Delta b\,k \rvert < 1初始误差指数衰减,最终稳态由失配项与扰动决定闭环有自净能力,模型偏差只造成有界偏移
∣a^−Δb k∣=1\lvert \hat{a} - \Delta b\,k \rvert = 1初始误差不衰减,长期保持临界,任何持续偏差都会累积成稳态误差
∣a^−Δb k∣>1\lvert \hat{a} - \Delta b\,k \rvert > 1初始误差指数放大,最终被非线性或饱和截断小偏差可演化为发散或事故

第三种情况在工程里并不罕见,它的典型形态是:模型以为「这个动作会让状态回到目标」,于是控制器给出较小的修正;真实系统里这个动作的效果比模型以为的更强,冲过了头;模型看到过头,又给出反向修正;每一步的修正都基于一个已经被自己改写过的世界。误差的符号在振荡,幅度在增长,直到执行器饱和或者系统离开训练分布。

这个例子里藏着一个容易被忽略的事实:当控制器读的是模型状态时,闭环的稳定性与误差的稳定性是两件不同的事。真实系统的闭环矩阵是 a−bka-bk,模型内部看到的闭环矩阵是 a^−b^k\hat{a}-\hat{b}k,而误差通道的矩阵是 a^−Δb k\hat{a}-\Delta b\,k。三个矩阵可以有不同的谱半径:真实系统收敛、模型内部收敛,误差却在发散。工程上表现为任务看起来还能做,但模型对世界的信念越来越偏,直到某个动作越过训练分布,系统突然失效。

把数字代进去,这个反直觉结论会更清楚。取真实参数 a=0.9a=0.9、b=1b=1,模型参数 a^=0.9\hat a=0.9、b^=0.6\hat b=0.6,控制器增益 k=0.5k=0.5。真实闭环极点是 a−bk=0.4a-bk=0.4,稳定;模型内部看到的极点是 a^−b^k=0.6\hat a-\hat b k=0.6,也稳定;但误差通道的增益是

a^−Δb k=0.9−(−0.4)×0.5=1.1\hat a-\Delta b\,k = 0.9-(-0.4)\times 0.5 = 1.1

每一步把误差放大 10%,30 步之后是 1.130≈17.41.1^{30}\approx 17.4 倍。系统在任务层面完全稳定,内部信念却已经偏到无法解释观测。把增益降到 k=0.1k=0.1,误差通道变成 0.9+0.04=0.940.9+0.04=0.94,误差开始衰减,代价是真实闭环极点从 0.4 升到 0.8,对外部扰动的抑制变慢。同一个模型,配不同的增益,命运完全不同——这正是闭环误差问题的可操作性所在:模型误差 Δb\Delta b 决定了误差通道的斜率,控制器增益 kk 决定了这条斜率有没有越过 1。

这里还藏着一个方向性的结论:模型低估动作效果(b^<b\hat b<b,即 Δb<0\Delta b<0)时,误差通道的增益是 a^+∣Δb∣k\hat a+|\Delta b|k,随增益单调上升;模型高估动作效果(Δb>0\Delta b>0)时,误差通道的增益是 a^−∣Δb∣k\hat a-|\Delta b|k,随增益单调下降。前者是危险的组合——模型以为动作很轻,实际动作很重,控制器还开得很大;后者反而在误差通道上是自稳的,但会带来任务响应偏慢的问题。工程上做系统辨识时,宁可略微高估执行器的作用强度,也不要低估它,原因就在这里。

误差在闭环里的三条来路

表征误差、预测误差与执行误差

闭环里的误差不是单一来源。按产生环节拆开,至少有三条:

  • 表征误差:编码器或滤波器把观测映射成信念时产生的偏差,记为 etrep=bt−ste^{\text{rep}}_t = b_t - s_t。即使动力学模型完全正确,这一项也存在,因为观测有噪声、编码器有近似、部分状态不可观测。
  • 预测误差:模型从当前信念往前滚 hh 步,预测未来与真实未来的差,记为 et,hprede^{\text{pred}}_{t,h}。这是第十一篇开环分析的主角,也是规划与动作选择的依据。
  • 执行误差:下发的动作与执行器实际产生的动作之间的差,记为 etacte^{\text{act}}_t。摩擦、死区、通信抖动、力矩饱和都会贡献这一项。

这三项在开环评测里通常被合成一个数:给定真实初始状态和真实动作序列,比较预测轨迹与真实轨迹。但在闭环里,它们的作用路径完全不同。表征误差决定策略看到什么,预测误差决定策略选择哪个动作,执行误差决定动作实际造成什么。更关键的是,它们都会通过「动作」这一条通道回到真实世界,改变下一次观测。

一条把三者合起来的偏差递推

设真实系统为 st+1=f(st,at)+wts_{t+1} = f(s_t, a_t) + w_t,策略为 at=π(bt)a_t = \pi(b_t),其中 sts_t 是真实状态,btb_t 是模型给出的信念,wtw_t 是外部扰动。再设一条标称轨迹 st⋆s^\star_t:同样的起点、同样的策略,但模型完美、观测无噪声。把真实轨迹与标称轨迹的偏差记为 dt=st−st⋆d_t = s_t - s^\star_t,把信念误差记为 et=bt−ste_t = b_t - s_t。在标称轨迹附近做一阶展开:

dt+1=(A+BK) dt+BK et+wtd_{t+1} = (A + BK)\,d_t + BK\,e_t + w_t

其中

A=∂f∂s,B=∂f∂a,K=∂π∂bA = \frac{\partial f}{\partial s},\qquad B = \frac{\partial f}{\partial a},\qquad K = \frac{\partial \pi}{\partial b}

分别是真实动力学对状态的雅可比、对动作的雅可比,以及策略对信念的雅可比,全部在标称轨迹上取值。BKBK 这个乘积是理解全篇的关键:它是「信念变化一个单位,经过策略与执行器之后,真实状态变化多少」。

逐项读这条递推:

  • (A+BK)dt(A+BK)d_t 是真实系统在闭环下的演化。控制器若把任务稳住了,这一项的谱半径小于 1,任何偏差都会自己衰减。这是抑制通道。
  • BKetBK e_t 是信念误差被同一个增益转换成真实状态偏差。KK 越大,一个单位的信念误差造成的动作误差越大;BB 越大,同样的动作误差对状态的影响越大。这是放大通道。
  • wtw_t 是外部扰动,控制器存在的理由。

两个通道共用同一个 BKBK,这是闭环误差问题的全部张力所在。调大控制器增益,抑制通道变强,外部扰动被压得更狠;放大通道也变强,模型噪声被灌进系统更多。控制理论把这种现象叫「水床效应」:在一处按下去,另一处鼓起来。世界模型把这个效应从「测量噪声」扩展到了「模型误差」,而模型误差通常比测量噪声大得多。

标量情形:把放大与抑制算成数

把递推压到一维,取 A=aA=a、B=bB=b、K=−kK=-k,得到

dt+1=ρ dt+g et+wt,ρ=a−bk,g=bkd_{t+1} = \rho\, d_t + g\, e_t + w_t,\qquad \rho = a-bk,\quad g = bk

ρ\rho 是真实闭环的极点,gg 是误差到状态的传递增益。分两种误差形态看。

若 ete_t 是零均值、方差为 σe2\sigma_e^2 的白噪声,稳态方差为

Var⁡(d∞)=g2σe21−ρ2\operatorname{Var}(d_\infty) = \frac{g^2\sigma_e^2}{1-\rho^2}

这个式子说明,即使闭环绝对稳定,误差也会被放大 g2/(1−ρ2)g^2/(1-\rho^2) 倍。ρ\rho 越接近 1(控制越软),分母越小,放大越严重;gg 越大(控制越硬),分子越大。两种极端都不好,中间存在一个使总方差最小的增益。这个最优增益由 σe2\sigma_e^2 与 wtw_t 的方差之比决定——模型越不准,最优增益越低。

若 ete_t 是常数偏差 eˉ\bar e,稳态偏移为

d∞=g eˉ1−ρd_\infty = \frac{g\,\bar e}{1-\rho}

常数偏差不会被平均掉,它直接变成一个稳态任务误差。模型的系统性偏差之所以比随机误差危险,原因就在这里:反馈回路可以把零均值噪声滤掉,却会把常数偏差当成「需要抵消的扰动」,用动作去对抗一个并不存在的状态差,最后让真实状态停在错误的位置上。

误差随状态变化时,闭环矩阵会被改写

上面把 ete_t 当成外生输入。真实情况更糟:模型误差不是固定的,它随状态离训练分布的距离增大而增大。把这一层写进去,设

et=ϵt+Γ dte_t = \epsilon_t + \Gamma\, d_t

ϵt\epsilon_t 是与轨迹无关的残余误差,Γ=∂e/∂d\Gamma = \partial e/\partial d 是误差对状态偏差的敏感度——轨迹偏得越远,模型错得越多,Γ\Gamma 就越大。代回递推:

dt+1=(A+BK+BKΓ) dt+BK ϵt+wtd_{t+1} = \big(A + BK + BK\Gamma\big)\,d_t + BK\,\epsilon_t + w_t

闭环的等效矩阵多出了 BKΓBK\Gamma 这一项。它表示「偏差导致模型误差,模型误差又通过控制器产生新的偏差」这条正反馈。稳定性条件从 ρ(A+BK)<1\rho(A+BK)<1 变成

ρ(A+BK+BKΓ)<1\rho\big(A + BK + BK\Gamma\big) < 1

这就是全篇的中心公式。它把闭环误差问题拆成三个可分别估计的量:控制器增益 ∥BK∥\|BK\|、模型误差的分布敏感度 ∥Γ∥\|\Gamma\|、以及真实闭环的稳定裕度 1−ρ(A+BK)1-\rho(A+BK)。三者粗略地满足

∥BK∥⋅∥Γ∥  <  1−ρ(A+BK)\|BK\|\cdot\|\Gamma\| \;<\; 1-\rho(A+BK)

时,闭环才能把小偏差收住。这是小增益定理在世界模型上的具体形态:环路里每一段的增益乘积必须小于 1。这里的写法是把矩阵的谱半径与算子范数混在一起用,严格版本要对具体范数逐项验证,工程上把它当作数量级判据即可。工程上真正要控制的不是「模型在测试集上的 MSE」,而是这个乘积。

Γ\Gamma 有一个很反直觉的性质:它在训练分布内接近零,在分布外会陡然变大。一个在评测集上误差很小的模型,Γ\Gamma 可能很小;一旦策略把状态推出数据覆盖范围,Γ\Gamma 迅速上升,乘积越过 1,闭环从抑制切换到放大。这解释了为什么很多世界模型在离线指标上很好看,一上线却在某个特定场景突然崩掉——崩掉的位置不是误差最大的位置,而是 Γ\Gamma 最大且策略最敏感的位置。

反馈为什么不修正估计误差

同一个动作施加在两个系统上

回到标量例子。若模型对自身动态与动作效果的估计都正确(Δa=Δb=0\Delta a=\Delta b=0),误差递推退化为 et+1=a^ ete_{t+1} = \hat{a}\,e_t。注意它不是 (a−bk)et(a-bk)e_t,也不是 (a^−b^k)et(\hat a-\hat b k)e_t。闭环反馈的稳定作用在相减时抵消了,因为控制器对模型状态和真实状态施加的是同一个动作:模型和真实系统被同样的输入驱动,它们的差就按各自的自然动态演化,反馈无从介入。

这个结论值得反复确认,因为它推翻了「闭环会自动纠错」的直觉。反馈能纠错的前提是:偏差会改变测量,测量与设定值的差驱动修正。而在「控制器读模型信念」的结构里,模型状态本身就是测量,偏差已经包含在测量里,回路看不到「真值」与「信念」的差。除非有一个独立的观测通道能把两者分开,否则反馈只是在维持一个自洽但错误的世界。

可观测、可控与「看不见的方向」

把误差按方向分解,可以得到一张诊断表:

误差方向闭环行为典型来源
可观测且可控观测产生 innovation,滤波器修正;控制器能抵消编码器噪声、初始状态偏差
可观测但不可控控制器持续对抗,容易饱和,形成稳态偏移执行器故障、外部持续扰动
不可观测回路完全看不见,永远不修正隐变量偏置、未建模自由度、传感器缺失维度

第一类是良性的,也是控制理论最擅长处理的。第二类会把控制器推到饱和,饱和之后有效增益下降,误差反而更难收。第三类是世界模型特有的麻烦:潜空间的某些维度没有对应的观测监督,模型可以在这些维度上随意漂移,而策略可能恰好依赖它们做决策。第十二篇讲几何表示时提到的尺度歧义、第十三篇讲物体中心表示时提到的槽位错配,都属于这一类——它们在像素重建损失上几乎不体现,却能让策略选错动作。

这也解释了为什么单纯提高重建精度不一定改善闭环表现。重建损失对所有像素一视同仁,而闭环只关心「策略敏感的方向」上的误差。一个在背景纹理上错得很离谱、在物体位姿上错得很小的模型,重建 MSE 可能不低,闭环表现却很好;反过来,背景完美、关键物体偏移几厘米的模型,MSE 更低,闭环却会撞上去。

为什么闭环只关心「策略敏感的方向」,可以从反馈回路的最小实现里看出来。控制理论里最经典的反馈是比例项 u=−k eu=-k\,e,其中误差 ee 由「传感器测到的量与设定值」相减得到。这个结构成立的前提是误差本身可以被测量。世界模型接管以后,被「测量」的量变成了信念,设定值也往往由模型算出,误差的定义不再指向真实状态。于是闭环里唯一还在测量真实世界的,只剩传感器那一条通道;它测什么方向,闭环就能纠什么方向,其余方向全部交给模型的自洽性。这也是为什么第七篇把「观测与信念对齐」列为部署环节里必须显式做的一件事:对齐不是把两个数调成相等,而是保证反馈回路里至少有一条通道不经过模型。

环路里还有两个乘数:延迟与重锚定

一步延迟如何砍掉一半增益预算

前面的递推假设动作在同一时刻生效。真实系统里,从观测进入、模型推理、动作下发到执行器响应,中间隔着至少一个控制周期。把这段延迟折算成整数步 dd,最简单的受控对象 st+1=st+b uts_{t+1}=s_t+b\,u_t 与延迟动作 ut−d=−kst−du_{t-d}=-k s_{t-d} 给出

st+1=st−bk st−ds_{t+1} = s_t - bk\,s_{t-d}

特征方程为

zd+1−zd+bk=0z^{d+1} - z^{d} + bk = 0

d=0d=0 时特征方程是 z−(1−bk)=0z-(1-bk)=0,稳定条件为 0<bk<20<bk<2;d=1d=1 时特征方程变成 z2−z+bk=0z^2-z+bk=0。它的两个根和为 1、乘积为 bkbk,求根公式给出 z=(1±1−4bk)/2z=(1\pm\sqrt{1-4bk})/2。当 bk>1/4bk>1/4 时两根共轭,模长均为 bk\sqrt{bk};当 0<bk≤1/40<bk\le 1/4 时两根为实数,较大根小于 1 等价于 bk>0bk>0。合并起来,稳定条件就是 0<bk<10<bk<1。仅仅一个控制周期的延迟,就把可用增益上限砍掉一半。dd 继续增大,增益预算继续缩小,延迟越多,能用的增益越小,dd 越大衰减得越快。

把这条结论翻译成部署语言:推理延迟不是「慢一点」,它是从稳定裕度里直接扣钱。 第七篇给出的延迟预算表里,δinfer\delta_{\text{infer}}、δnet\delta_{\text{net}}、δact\delta_{\text{act}} 每一项都会折算成延迟步数。控制周期 20 ms、端到端延迟 100 ms,等效延迟就是 5 步;此时按无延迟调出来的增益,几乎必然在闭环里振荡。

更隐蔽的一点是:提高控制频率并不自动改善稳定性。如果推理时间不变,把控制周期从 20 ms 缩到 10 ms,延迟步数从 5 变成 10,特征方程的阶数更高、增益预算更小。频率提高带来的采样精度,可能抵不过延迟裕度的损失。这也是为什么许多实时系统宁愿降低控制频率、把动作成块下发,也不愿意追最高的采样率。

动作分块:把延迟写进结构

动作分块(action chunking)是机器人策略里的常见做法:一次推理输出未来 CC 步的动作,执行器按顺序执行,执行完再推理下一块。ACT 在 2023 年用这个做法把低成本双臂操作做到了当时的可用水平,Diffusion Policy 也采用「预测一段动作、执行其中一部分」的滚动形式。从闭环误差的角度看,分块有两个相反的作用:

  • 好处:降低推理频率,减少模型误差进入回路的次数;块内动作连续,避免了逐步重规划带来的抖动;对高延迟的模型,分块是唯一能维持高频执行的工程手段。
  • 代价:块长 CC 等价于最多 CC 步的响应延迟。执行块的过程中,新的观测无法改变已经在执行的剩余动作。若块内世界发生变化(物体被碰走、地面打滑),策略要等整块执行完才能反应。

这就把 CC 变成了一个和控制器增益同等重要的设计参数。块太短,推理频率高、延迟小,但每步都要吃一次模型误差,且动作容易抖;块太长,动作平滑、算力省,但等效延迟大、稳定裕度小。ACT 的做法是执行整块, Diffusion Policy 的做法是每次只执行前若干步再重规划——后者本质上是用更高的推理频率换更小的等效延迟,代价是算力。

重锚定:把乘法变成加法

开环复合误差的可怕之处在于它是乘法:hh 步之后误差上界是单步误差乘以 LhL^h。闭环里每一次用新观测重置信念,都会把这条乘法链切断一次。若每个控制步都重锚定,偏差递推变成

dt+1=ρ dt+g ϵt+wtd_{t+1} = \rho\, d_t + g\,\epsilon_t + w_t

它的解是

∥dt∥≤ρt∥d0∥+g∑i=1tρt−i∥ϵi∥+∑i=1tρt−i∥wi∥\|d_t\| \le \rho^t\|d_0\| + g\sum_{i=1}^{t}\rho^{t-i}\|\epsilon_i\| + \sum_{i=1}^{t}\rho^{t-i}\|w_i\|

当 ρ<1\rho<1、且每步注入的误差有界 ∥ϵi∥≤ϵˉ\|\epsilon_i\|\le \bar\epsilon 时,第二项收敛到 gϵˉ/(1−ρ)g\bar\epsilon/(1-\rho)。也就是说:重锚定把指数增长的乘法过程,换成了有界的加法过滤过程。 这是闭环相对开环最重要的结构性优势,也是「为什么部署时一定要用观测」的数学理由。

代价同样清楚。重锚定注入的 ϵt\epsilon_t 包含编码器噪声与后验采样噪声,频率越高,注入越频繁;ρ\rho 越接近 1,这些噪声累积得越多。所以「每步都重锚定」并不总是最优:如果模型在短视野内比编码器更可靠(例如视觉被遮挡、本体感觉漂移),适当让模型多跑几步再校正,反而更稳。这是一个需要按传感器可靠性分配的预算,而不是一条「越频繁越好」的教条。

任务相关误差:不要用像素 MSE 当闭环指标

闭环只对「策略敏感的方向」上的误差有反应。把这一点写成可测量的量:设任务的价值函数或代价函数为 V(s)V(s),则一个信念误差 ee 对决策的实际影响约为

δV≈∇sV⊤e\delta V \approx \nabla_s V^{\top} e

闭环真正该监控的是

Etask=E[(∇sV⊤e)2]\mathcal{E}_{\text{task}} = \mathbb{E}\big[(\nabla_s V^{\top} e)^2\big]

而不是 E[∥e∥2]\mathbb{E}[\|e\|^2]。PILCO 在 2011 年就提出过类似的观点:模型基控制真正需要的是「策略评估所依赖的那部分模型误差」可控,而不是单步误差处处最小。两者可以差很远:机械臂末端几厘米的位置误差,若发生在抓取方向上,梯度很大,任务直接失败;同样几厘米若发生在垂直于抓取方向,梯度接近零,任务毫发无损。视觉世界里,天空纹理的误差梯度为零,前方车辆的深度误差梯度极大。

这个度量有一个实用推论:评估世界模型时,应该按任务梯度加权采样,而不是均匀采样测试集。 第六篇讲的评测栈之所以要分「物理一致性」「反事实响应」「长程记忆」三层,本质就是在补足均匀 MSE 看不到的方向。

什么时候放大:三种在真实系统里反复出现的机制

机制一:系统性偏差把系统稳定在错误的位置

模型对某个状态量有恒定偏差,控制器会把这个偏差当成真实偏差去抵消,最后真实系统停在一个错误但自洽的平衡点上。写成标量就是前面那个 d∞=geˉ/(1−ρ)d_\infty = g\bar e/(1-\rho)。偏差越大、闭环越软(ρ\rho 越接近 1)、增益越大(gg 越大),偏移越严重。

工程上最典型的例子是零位偏差:关节编码器的零点偏了 2 度,模型学到的动力学也带着这 2 度,策略以为手臂已经伸直,实际还差 2 度。视觉伺服可以纠正它,因为相机会看到真实末端位置;纯本体感觉的策略则永远纠正不了,因为整条链路对「2 度」是自洽的。这又回到可观测性:偏差落在没有被独立观测覆盖的通道里,闭环无法发现它。

机制二:模型利用在闭环里变成「主动追逐幻觉」

第十一篇讲过模型利用:策略在模型里寻找奖励被高估的状态。开环分析里,这表现为策略选择的动作在模型里回报很高、在真实环境里很低。闭环分析里,这个现象更严重,因为策略不是被动地遇到模型误差大的状态,而是主动把系统开向那里。

用中心公式读这件事:策略优化的方向,恰好是让 BKΓBK\Gamma 最大的方向。因为策略要找的是价值梯度最大的地方,而价值梯度大的地方往往也是数据稀疏、模型外推最不可靠的地方。于是 Γ\Gamma 在策略最敏感的方向上取到最大值,环路增益按最坏情况而非平均情况计算。这解释了为什么集成、悲观惩罚这类「防模型利用」的手段在闭环里仍然必要:它们压的不是平均误差,而是策略主动选择的那个方向上的误差。

机制三:饱和把线性稳定变成非线性极限环

执行器有物理上限。偏差大到一定程度,控制器算出的修正量超过执行器能力,实际动作被截断,有效增益从 KK 掉到 KsatK_{\text{sat}}。此时线性分析失效:偏差不再按 ρ\rho 衰减,而是维持在一个「饱和—偏离—再饱和」的循环里。

更麻烦的是,饱和通常发生在状态已经离开训练分布之后。模型在饱和区的外推误差更大,Γ\Gamma 更大,而有效增益却更小,两个效应叠加,系统可能卡在一个持续振荡的状态里出不来。工程上的应对不是加大增益(那会更快饱和),而是提前限幅、速率限制、以及在接近饱和时切换到更保守的控制器。

把饱和写成显式形式,可以看到极限环是怎么形成的。设控制器输出为 ut=−kstu_t=-k s_t,但执行器只能给出 [−umax⁡,umax⁡][-u_{\max},u_{\max}] 之间的动作,于是

ut=clip⁡(−k s^t, −umax⁡, umax⁡)u_t = \operatorname{clip}(-k\,\hat{s}_t,\ -u_{\max},\ u_{\max})

偏差小的时候,系统按线性分析运行,∣s∣|s| 按 ρ\rho 指数衰减;信念大到超过 umax⁡/ku_{\max}/k 时,控制器进入饱和区,有效增益从 kk 掉下来。如果此时模型仍然坚持「再给一点修正就能回到目标」,动作会一直顶在上限,系统以恒定的输入冲向目标,冲过目标之后,偏差反向变大,另一侧的饱和又被触发。整个轨迹就变成一个在目标两侧来回摆动的极限环,幅度由饱和阈值与动力学共同决定,与初始偏差大小关系不大。

闭环误差分析在这里给出一个可操作的启发:模型一旦低估动力学,就会在真正需要的时刻被截断,把原本的线性收敛变成极限环。 因此限幅值不能完全按模型给出的最坏偏差反推,要按真实动力学留出余量。限幅不是保守,它是在给模型的错误预留空间。

MBPO 论文图 1:模型误差随策略分布偏移的变化

这张图来自 MBPO 论文(Michael Janner 等,2019 年公开、2020 年发表于 ICLR)。左图横轴是评估策略与训练策略之间的 KL 散度,纵轴是模型误差(对数坐标),每条曲线对应不同数量的训练数据。曲线随横轴上升,说明策略偏离训练分布越远,模型错得越多——这条斜率就是前面公式里的 Γ\Gamma。数据量增加时曲线整体下移、斜率变缓,说明更多覆盖能降低误差对分布偏移的敏感度。右图把「误差随分布偏移的局部变化率」单独画出来,作为模型泛化能力的代理指标。

这张图值得细看的地方在于:误差不是由模型单独决定的,而是由模型和策略共同决定的。 同一个模型,配一个保守的策略,误差可以很小;配一个激进的策略,误差迅速变大。所以「这个模型准不准」这个问题本身不完整,完整的问题是「这个模型在这个策略访问的分布上准不准」。闭环设计要同时管住模型和策略,而不是只优化模型。

什么时候抑制:真实系统里的四种结构性做法

缩短前馈视野

第十一篇已经讲过 MBPO 的结论:模型 rollout 长度 kk 的最优值由「短视野丢失未来信息的指数衰减」与「长视野复合误差的线性增长」两项共同决定。在闭环语境里,同一个结论有另一种解读:前馈视野就是环路里的开环段长度。 模型滚 kk 步做出的决定,在这 kk 步里没有任何外部观测打断;开环段越长,误差有越长的时间指数增长。

MBPO 的实验佐证了这一点:在 Hopper 任务上,线性把 kk 从 1 增加到 15 的计划表现最好,但固定 k=1k=1 也保留了模型方法大部分收益。也就是说,缩短视野的收益在 kk 很小时就已经基本兑现,继续拉长只换来递减的增益和递增的误差风险。这个结论对部署的启示很直接:与其把算力花在更长的预测上,不如把算力花在更频繁的重锚定上。

提高重锚定频率,但按传感器可靠性分配

上一节已经给出重锚定的收益:把乘法链切成加法过滤。实践中需要确定的是「多久一次」。可用的判据是比较两种输入的噪声:编码器/后验的噪声与模型短视野预测的误差。哪个小,就在哪里重置。

一个具体的分工方式:

  • 视觉通道每帧重锚定潜空间的观测部分,因为相机噪声小、延迟可控。
  • 本体感觉(关节角、力矩)以更高频率重锚定,因为它直接反映执行器的真实行为。
  • 隐状态中不可观测的部分(物体质量、地面摩擦)不重锚定,交给模型自回归维护,并对其不确定性做显式跟踪。

第三类是最危险的,因为它没有观测监督。工程上对它的处理通常是限制它的影响范围:不让策略直接依赖不可观测的隐变量做高风险决策,或者在不确定性大时退回到保守策略。

限制环路增益,而不是求最低误差

环路稳定性条件里,∥BK∥⋅∥Γ∥\|BK\|\cdot\|\Gamma\| 必须小于 1−ρ(A+BK)1-\rho(A+BK)。三项里,Γ\Gamma 由模型决定、难以直接控制,BKBK 由控制器与策略决定、可以直接控制。所以工程上最有效的调节杆不是「把模型训得更准」,而是「在 Γ\Gamma 大的状态下降低 ∥BK∥\|BK\|」。

实现方式有几种。一是速率限制与动作平滑,限制单步动作的幅度,等效压低环路增益。二是增益调度:根据模型的不确定性估计,在不确定性高的状态下降低控制增益,这不是在「信任模型」,而是在「知道模型在哪不可信时少用它」。三是把模型放进一个保守的外壳——安全滤波器、控制屏障函数、或者简单的动力学约束——让即使模型错了,输出动作也不会立刻造成不可逆后果。

TD-MPC2 的设计提供了一个有意思的对照。它在潜空间里做规划,用采样加精英选择的方式选出动作,规划视野固定为 3、种群规模 512、迭代 6 次(动作维度较大时 8 次)。这里的视野之短、种群之大,本身就是对误差的工程回应:视野短降低复合误差,种群大多次采样降低单次规划的方差。

TD-MPC2 架构:编码器、潜空间动力学与预测头,不解码未来观测

这张图来自 TD-MPC2 论文(Nicklas Hansen 等,2023 年公开)。观测 ss 先被编码成归一化的潜表示 zz,模型随后递归地预测动作 a^\hat a、奖励 r^\hat r 与终止价值 q^\hat q,不解码未来的观测。这一条设计对闭环误差的意义在于:它把「预测什么」从「重建整个画面」收缩到「策略决策需要的那几个量」。重建式模型要在整个观测空间里都对,而 TD-MPC2 只需要奖励与价值估计在对的方向上准。代价是它失去了可视化想象能力与更丰富的反事实能力——这是第十二到十八篇讨论过的路线取舍,在闭环语境里重新变成一道工程题:为了让环路稳定,模型应该被要求预测得少而准,而不是多而花。

给模型配一条不经过它的旁路

最后一种做法是把模型从关键反馈通道里移出去。模型负责给动作打草稿,但真正闭环的是那些不依赖世界模型的控制器:关节级的位置伺服、碰撞检测、急停。这些旁路的带宽高、延迟低、误差特性已知,且它们的稳定性不依赖世界模型的 Γ\Gamma。世界模型只在这些旁路之上做「慢速决策」。

分层结构天然适合这种分工。第十四篇讲过分层世界模型:上层以秒为周期做语义决策,下层以毫秒为周期做伺服。把误差分析叠加到分层上,会得到一个相当干净的结论:上层可以容忍更大的模型误差,因为它下发的决策周期长、可重新评估;下层不能容忍大的模型误差,所以它基本上不应该由世界模型驱动。 第七篇部署环节里「安全兜底」的工程要求,在数学上就是这个不对称性。

用世界模型做规划:想象出来的轨迹算不算闭环

规划器把世界模型当成「可以反复试错的环境」:在内部展开若干未来,比较代价,挑一个动作执行。这种结构与在线闭环有一个模糊的边界——想象的展开本身没有外部观测,但它每隔几步就被真实观测重置;执行的动作又进入真实世界,产生新的观测。弄清楚哪一段是开环、哪一段是闭环,是判断误差命运的前提。

Drive-WM 的规划树:在想象里试错,在执行里只交一个动作

自动驾驶里的 Drive-WM(Wang 等,2023 年公开,论文标题 Driving into the Future)给出了一个把世界模型当作规划器、同时保持真实闭环的例子。它在时刻 TT 用世界模型想象多个未来,在当前帧上判断「直行安全」,又把时间推到 T+2KT+2K,发现按当前轨迹自我车会离前车太近,于是决定变道。

Drive-WM 框架总览:训练与推理流水线、统一条件与分解式多视角生成

这张图是 Drive-WM 的框架总览。上半部分给出训练与推理流水线:多视角视频被压缩到潜空间,条件(轨迹、3D 框、高清地图等)统一注入,扩散式去噪生成未来画面,推理时按规划需要逐步展开。下半部分是多视角生成的分解方式:先生成三个视角,再以它们为条件补全其余视角,以换取视角间的一致性。对闭环而言,关键信息是:世界模型只在潜空间里做有限步的展开,每步都被条件约束,而不是让画面自由发散。 条件相当于每一步的「外部锚点」,它把发散限定在可控范围内。

Drive-WM 端到端规划流水线:规划树与基于图像的奖励

这张图展示规划树的结构。上方是规划流水线的各个组件:世界模型生成候选未来、由图像奖励函数给出「安全」判断、再由决策模块在树里搜索。下方是规划树的展开:每个节点是一段想象出来的未来,分支对应不同的动作假设,叶节点的颜色表示基于图像的奖励(地图奖励、物体奖励、其他车辆等)。这里有一个重要的结构性事实:规划是树状的,而不是单链的。 树状展开让策略能在想象里比较多个可能,而不是沿一条轨迹一条道走到黑;分支的深度就是前馈视野,分支的宽度就是算力预算。

把这张图和前面的误差分析对应起来:规划树的深度乘以单步 LL,决定每一支上的复合误差;树的宽度决定能否有一个分支踩在误差小的区域。两者都是算力问题。Drive-WM 的做法是把深度控制在实际可用的范围内,用条件约束每一步的漂移,并在每个控制步都用真实多视角图像重新采样候选轨迹、重新想象、重新打分,把真实执行放进重锚定循环。也就是说,想象是开环的,执行是闭环的,每一次执行都是想象的一次重锚定。

规划与执行的两种时间尺度

把规划与执行分开,会看到两个不同的误差问题:

  • 规划内部:模型展开 HH 步,做树搜索。这里适用第十一篇的开环分析,误差上界是 εLH\varepsilon L^H 量级。HH 大了,每一支都不可信,树就变成了在噪声里挑最大值的装置。
  • 执行循环:每一步拿真实观测重锚定,适用本文的闭环分析,误差是有界的加法过滤。

两种尺度的误差有一个不对称:规划里的误差影响的是「选哪个动作」,执行里的误差影响的是「动作造成什么」。前者可以通过多看几个候选来缓解(宽度换可靠性),后者只能靠压低增益、缩短延迟、提高重锚定频率。

Cosmos 这类通用世界基础模型则主要服务于离线数据生成与仿真,不承担在线闭环的实时决策。这解释了为什么真实系统里的规划视野普遍很短。TD-MPC2 的规划视野是 3,MBPO 的 rollout 长度最优值在 1 到 15 之间,Drive-WM 的树在 KK 量级上展开。这些系统都不在长视野上做在线闭环决策,因为长视野的想象更适合离线比较,而不是实时控制。

Dreamer 的想象:只用于学习,不进入部署回路

Dreamer 系列(Hafner 等,2023 年公开 DreamerV3,标题为 Mastering Diverse Domains through World Models)的想象发生在训练阶段:策略在学到的世界里做 imagination rollout,用想象出来的奖励与价值更新 actor 与 critic。部署时进入真实环境的,是学好的 actor,而不是那个世界模型。

DreamerV3 的世界模型学习流程:编码器、动力学与解码器
DreamerV3 的 actor-critic 学习流程:在想象的潜空间轨迹上更新策略

这两张图区分了 DreamerV3 的两个训练环节。第一张是世界模型学习:观测被编码成潜状态,动力学在潜空间里推进,解码器重建观测、奖励与终止信号;训练目标是让世界模型在多步预测上合理。第二张是 actor-critic 学习:策略在想象出来的潜空间轨迹上更新,奖励来自世界模型的预测。DreamerV3 的预测视野是 T=16T=16(论文给出的 16 步),critic 用引导 bootstrap 处理视野之外的回报。

从闭环误差的角度看,Dreamer 的结构有一个关键的隔离:想象只影响参数,不影响动作。 这是第十一篇已经点出的不对称——想象经验更新策略,但不反过来更新世界模型,也不直接进入执行回路。世界模型的误差通过「策略参数」这条慢通道进入系统,而不是通过「状态」这条快通道。误差被延迟、被平均、被真实经验稀释,这比让误差直接闭环要温和得多。代价是策略继承了模型偏差的偏置,且这种偏置一旦固化,很难由在线反馈纠正——它已经变成了策略的先验。

这就是路线选择在闭环里的真实含义:把世界模型放在部署回路里(规划/动作生成),误差是快的、可重锚定的、但可能被放大;把世界模型放在训练回路里(Dreamer),误差是慢的、被稀释的、但会固化成偏置。 两者都不是免费的,工程决策是在两种误差形态之间选。

这两种选择对「重锚定」的依赖程度也不同。部署回路里的世界模型每一步都被观测重锚定,ϵt\epsilon_t 每步清一次,误差表现为有界的加法过程;训练回路里的世界模型在 imagination 中连续滚 T=16T=16 步,中间没有任何观测,ϵt\epsilon_t 会按第十一篇的 LhL^h 累积。也就是说,Dreamer 式的想象恰恰是开环复合误差最严重的场景,只是它把误差导向了参数而不是动作。理解了这一点,就能解释 Dreamer 系列为什么在长视野任务上需要大量真实交互来纠正偏置:想象里的误差越大,策略从想象里学到的偏置越深,而这条偏置通道没有在线闭环可以直接观测并修正。

DreamerV3 论文里那张开环长视野预测图,把「模型在闭环之外能滚多远」直观地画了出来。

DreamerV3 图 4:给定 5 帧上下文与动作序列,模型无中间观测地预测未来 45 帧

这张图来自 DreamerV3 论文(Hafner 等,2023 年)。上排是 DMLab 迷宫,下排是四足机器人:给定 5 帧上下文图像和完整动作序列,世界模型在看不到任何中间图像的情况下预测未来 45 帧。这正是闭环里绝不会发生的设定——真实部署时每隔一帧就有新观测进来。它之所以能用 45 帧这么长的视野展示,是因为这里评的是开环能力;而一旦进入闭环,视野会被重锚定切短到几步之内。对照前一节的分析:开环图上看起来还能撑几十帧的预测,对应的 Γ\Gamma 可能已经很大;闭环里之所以仍然工作,靠的不是模型撑得久,而是每帧重锚定把乘法链切断了。

怎么测:把环路增益测出来,而不是猜出来

前面所有公式都依赖三个量:BKBK、Γ\Gamma、ρ(A+BK)\rho(A+BK)。这三个量不需要解析求导也能测。下面给出一套可以在仿真里执行、再迁移到真机的协议。

指标一:开环与闭环的落差

最便宜的诊断是比较同一套权重、同一批初始状态下的两种成功率:在模型里滚完整条任务的成功率,和在真实环境里执行的成功率。设前者为 popenp_{\text{open}}、后者为 pclosedp_{\text{closed}},落差

Δgap=popen−pclosed\Delta_{\text{gap}} = p_{\text{open}} - p_{\text{closed}}

若 Δgap\Delta_{\text{gap}} 很小,说明模型误差落在策略不敏感的方向上,或者闭环结构已经把误差压住;若 Δgap\Delta_{\text{gap}} 很大,说明模型在「自己觉得对」的地方系统性偏错,且策略正依赖这些方向。这个落差不告诉你根因,但它是最快的分流器:先知道该不该继续查,再决定查哪一段。

指标二:扰动注入,测误差的衰减率

在任务进行到某个阶段时,不改变真实世界,只把模型的信念偏移一个已知量 δ\delta,然后让策略继续在真实环境里执行,记录真实状态相对标称轨迹的偏差随时间的变化。对偏差包络做指数拟合,得到实测衰减率 ρ^\hat\rho。

判读方式很直接:

  • ρ^\hat\rho 明显小于 1:闭环在收缩误差,反馈通道有效。
  • ρ^≈1\hat\rho \approx 1:误差既不衰减也不放大,说明控制回路对这类误差没有校正能力,典型原因是误差落在不可观测方向,或者控制器读的正是被偏移的信念。
  • ρ^>1\hat\rho > 1:有效环路增益超过 1,正在放大。

同一个模型在不同任务阶段会给出不同的 ρ^\hat\rho。在数据覆盖充分的区域测得 0.6,在接触、遮挡、高速运动等稀疏区域测得 1.1,是完全正常的。要建立的是「ρ^\hat\rho 随状态的分布」,而不是一个全局平均值。

指标三:偏置注入,测稳态偏移与可观测性

给某个状态通道或观测通道注入常数偏置 eˉ\bar e,等系统稳定后测量真实状态与目标状态的稳态差。若稳态差接近零,说明闭环能观测并抵消这个偏置;若稳态差随注入量线性增长,斜率就是 g/(1−ρ)g/(1-\rho)。

这条测试最有价值的地方是识别不可观测通道:对某个潜变量维度注入偏置,如果稳态差完全不变,说明策略根本不依赖它,或者该维度被其他观测约束住了;如果任务性能显著下降但状态差测不出来,说明该维度在内部起作用却没有外部监督——这正是前面说的第三类误差。对这类维度,工程上要么补传感器,要么在策略里显式降权。

指标四:延迟扫描,测稳定裕度

在控制回路里人为插入 kk 步延迟,从小到大扫描,记录任务指标与动作振荡幅度。找到指标开始明显退化的临界 k⋆k^\star。部署时的实际延迟步数 kdeployk_{\text{deploy}} 与临界值之间的差,就是稳定裕度:

mdelay=k⋆−kdeploym_{\text{delay}} = k^\star - k_{\text{deploy}}

这个裕度应该以「步」为单位写进部署文档,而不是以毫秒。因为稳定性由步数决定,而步数会随控制频率变化——同样的 100 ms,在 20 ms 周期下是 5 步,在 10 ms 周期下是 10 步。

指标五:任务相关误差,替代 MSE

最后把评估指标本身换掉。给定价值函数或代价函数的梯度,计算

Etask=1N∑i=1N(∇sV(si)⊤ei)2\mathcal{E}_{\text{task}} = \frac{1}{N}\sum_{i=1}^{N}\big(\nabla_s V(s_i)^{\top} e_i\big)^2

并与原始 MSE 一起报告。两个数一起看,能区分三种情况:MSE 低且 Etask\mathcal{E}_{\text{task}} 低,模型可用;MSE 低但 Etask\mathcal{E}_{\text{task}} 高,误差落在关键方向,闭环会放大;MSE 高但 Etask\mathcal{E}_{\text{task}} 低,模型在无关方向浪费容量,可以压缩或换预测目标。

这五项测试合起来,构成一套闭环验收的最小集。它们都能在仿真里先做,再按风险等级迁移到真机;第七篇讲过的影子模式与回放测试,可以作为这套协议的上线前补充,而不是替代——回放无法评估「策略改变后世界会怎样变化」,扰动注入和偏置注入恰好补上这一块。

延伸:多入口时误差也会串门

多入口同时控制同一个世界时,每一条动作线都是一个闭环,误差因此也有多条环路。第十九篇的环路增益公式在多入口情形下要逐入口评估:某个入口上的模型误差只直接影响它自己的动作,但动作效果会改变世界状态,再通过其他入口的观测进入它们的回路。这就是第十八篇说的共享状态在误差层面的代价——共享一个世界,就共享了一部分误差传播。工程上通常给每个入口单独做扰动注入测试,看它的误差是否会经过共享状态传导到别的入口,据此决定共享状态里哪些量需要权威仲裁、哪些量允许各入口各自维护。

双臂搬运是最直观的例子。两只机械臂共同夹住一个物体,各自有自己的世界模型与控制器。左臂的模型低估了物体质量,它给出的抬升动作比实际需要的小,物体实际位置低于它的信念;右臂通过自己的观测看到物体偏低,加大抬升力。这个额外的力又改变了左臂观测到的接触力,左臂据此修正,两个回路通过物体耦合在一起。单独看,每个臂的闭环都稳定;合起来,耦合项的增益可能把整体推到振荡。中心公式在多入口情形下要写成块矩阵形式,

dt+1i=(Ai+BiKi+BiKiΓi)dti+∑j≠iCij dtj+BiKiϵtid^{i}_{t+1} = \big(A_i + B_iK_i + B_iK_i\Gamma_i\big)d^{i}_{t} + \sum_{j\neq i} C_{ij}\,d^{j}_{t} + B_iK_i\epsilon^{i}_{t}

dtid^i_t 是第 ii 个入口的偏差,CijC_{ij} 是第 jj 个入口的偏差通过共享物体传导到第 ii 个入口的耦合矩阵。整体稳定与否取决于这个块矩阵的谱半径,而不是每个对角块的谱半径。两个各自稳定的回路,加上足够强的耦合,仍然可以整体失稳。

工程上的应对通常不是继续调各自的增益,而是改变耦合结构:指定一个入口做「领导者」,由它维护共享状态的权威版本,其他入口按顺从控制跟随;或者把物体做成柔性连接,用机械柔顺性吸收高频的耦合振荡;再或者降低所有入口的增益,用整体响应变慢换取耦合稳定。第十八篇讲的权威状态与记录级多写者,在这里获得了误差层面的解释:共享状态的写入协议,本质上是在决定耦合矩阵 CijC_{ij} 的形状。

把结论收成一张工程清单

这一篇的推导线可以压成一条:闭环误差的递推是

dt+1=(A+BK+BKΓ) dt+BK ϵt+wtd_{t+1} = \big(A + BK + BK\Gamma\big)\,d_t + BK\,\epsilon_t + w_t
  • 括号里的 A+BKA+BK 是反馈的稳定作用,它让真实偏差自己衰减。
  • 额外的 BKΓBK\Gamma 是模型的反馈作用,偏差越大、模型越不准,它就越强。
  • 闭环能不能稳住,取决于 ∥BK∥⋅∥Γ∥\|BK\|\cdot\|\Gamma\| 是否小于稳定裕度 1−ρ(A+BK)1-\rho(A+BK)。

由此可以得到五条可以直接执行的工程判断:

  1. 误差的「质」比「量」重要。 零均值、快速变化、落在策略不敏感方向上的误差,会被反馈系统过滤成有界噪声;常数偏差、与状态强相关、落在高价值梯度方向上的误差,会直接变成稳态偏移或正反馈。评估世界模型时,要把误差按任务梯度加权,而不是只看平均 MSE。
  2. 反馈不自动纠错。 当策略读模型给出的信念时,同一个动作同时施加在模型与真实系统上,二者的差按模型自身动态演化,回路看不到「信念与真值之差」。要纠错,必须有独立的观测通道把两者分开,或者让模型在短视野内反复被真实观测重锚定。
  3. 延迟就是稳定裕度。 一个控制周期的延迟就能把可用增益上限砍掉一半。推理延迟、网络延迟、执行链路延迟都要折算成延迟步数,计入稳定预算。动作分块在降低推理频率的同时引入了块长延迟,块长是需要和增益一起调的参数。
  4. 重锚定把乘法换成加法。 每步重锚定把复合误差的 LhL^h 指数增长,换成 gϵˉ/(1−ρ)g\bar\epsilon/(1-\rho) 的有界过滤。频率不必越高越好,要按传感器可靠性分配;不可观测的隐状态无法重锚定,必须限制其影响范围。
  5. 把世界模型放在训练回路还是部署回路,是两种误差形态的取舍。 放进部署回路(规划、动作生成),误差来得快、可以重锚定,但可能被环路放大;放进训练回路(Dreamer 式想象),误差被稀释,但会固化成策略偏置。Drive-WM 选择「想象开环、执行闭环」,Dreamer 选择「想象只影响参数」,TD-MPC2 选择「预测得少而准」,三种选择都能用同一个环路增益公式来评估。

一句话概括这一篇:世界模型的误差在闭环里不是被消除的,而是被改写——反馈决定了它被压成有界噪声、保持为稳态偏移,还是被放大成一次偏离。 工程上能做的最有效的事,不是把模型训得更准,而是让环路里的每一项增益都留在预算之内。

系列走到这里,误差从开环想象走进了闭环执行。还有一条相邻的线索没有被单独处理:一个会话里积累的世界状态,如何迁移到另一个会话——不是共享同一时刻的状态,而是把「走过这个世界的经验」带走。下一篇将讨论跨会话的世界状态迁移。

参考资料

  1. When to Trust Your Model: Model-Based Policy Optimization(Janner 等,2019,arXiv:1906.08253)
  2. Mastering Diverse Domains through World Models(DreamerV3,Hafner 等,2023,arXiv:2301.04104)
  3. TD-MPC2: Scalable, Robust World Models for Continuous Control(Hansen 等,2023,arXiv:2310.16828)
  4. Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving(Drive-WM,Wang 等,2023,arXiv:2311.17918)
  5. PILCO: A Model-Based and Data-Efficient Approach to Policy Search(Deisenroth 与 Rasmussen,ICML 2011)
  6. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(ACT,Zhao 等,2023,arXiv:2304.13705)
  7. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion(Chi 等,2023,arXiv:2303.04137)
  8. Model-based Reinforcement Learning: A Survey(Moerland 等,2020,arXiv:2006.16712)
  9. Cosmos World Foundation Model Platform for Physical AI(NVIDIA,2025,arXiv:2501.03575)

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(十九):误差走进闭环——反馈是在放大还是抑制模型的偏差
https://pinghaoyang.com.cn/articles/insights/posts/world-model-closed-loop-error-part-19/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录