世界模型从零讲起(三十):模型有多确定——两类不确定性如何穿过预测与规划

11773 字
59 分钟
世界模型从零讲起(三十):模型有多确定——两类不确定性如何穿过预测与规划

从一个必须回答的问题开始

前二十九篇里,世界模型被反复当作一个函数来用:给定状态 sts_t 和动作 ata_t,输出下一状态 st+1s_{t+1}、奖励 rtr_t,或者干脆输出下一帧画面。规划器在这个函数上搜索动作序列,把搜索得到的最优序列第一个动作交给执行器。整套流程里有一个从未正面回答的问题:这个函数给出的值,有多可信?

真实世界不是确定性的。推一个杯子,杯子的最终位置随摩擦、接触点、施力速度变化;同一块地板,昨天和今天的反光不同;电机在低速段有静摩擦,指令值和实际转角有偏差。世界模型对这一切做了近似,它的近似误差不是均匀的:在训练数据密集的区域误差很小,在训练数据稀疏的区域误差可能大到把动作方向都判反。如果一个规划器把「模型认为好」当成「实际好」,它就必然会在数据稀疏的边界上踩坑——而这恰恰是自主系统最常遇到的情形。

这篇文章讲的是世界模型里不确定性这一层:它从哪里来、怎么被一个动力学网络估计出来、怎么沿着 TT 步的预测逐步放大、怎样进入奖励与规划,以及在推理系统里它要额外花掉多少算力。这一层的意义可以用一句话概括:它把世界模型从一个「会预测的函数」变成一个知道自己哪里靠不住的函数,而只有后者才能被安全地放进闭环。

先把这个问题的形式定义清楚。设真实动力学为

st+1=f(st,at)+ϵ,s_{t+1} = f(s_t, a_t) + \epsilon,

其中 ff 是真实的(但未知的)状态转移函数,ϵ\epsilon 是环境本身的随机扰动。世界模型学到的近似记为 f^θ\hat{f}_\theta。那么模型的一步预测误差可以拆成两块:

st+1−f^θ(st,at)=[f(st,at)−f^θ(st,at)]+ϵ.s_{t+1} - \hat{f}_\theta(s_t, a_t) = \big[ f(s_t,a_t) - \hat{f}_\theta(s_t,a_t) \big] + \epsilon.

方括号里是模型和真值函数之间的差距,来自训练数据不足、模型容量限制、函数类表达能力不够;ϵ\epsilon 是环境自身的随机性,即使拿到完美的 ff,下一步仍然不会完全确定。这两个来源性质完全不同:前者在数据变多后会缩小,后者不会。把两者混在一起来谈「模型的方差是多少」,就无法判断「增加数据能不能解决这个问题」。世界模型的误差核算必须把二者分开。

不确定性的两种来源

在模型基学习的语境下,这两个来源有标准的名字:

  • 偶然不确定性(aleatoric uncertainty),也叫数据不确定性或随机不确定性。它是环境与观测过程内在的随机性,不随数据量增加而减少。同一个杯子同样的位置同样的推力,两次的最终位置会有细微差别——这是真实世界的一部分。传感器读数的噪声也属于这一类:像素里的光子散粒噪声、关节编码器的量化误差。
  • 认知不确定性(epistemic uncertainty),也叫模型不确定性。它来源于我们对真实 ff 的知识不足:在训练集覆盖到的地方,模型见过足够多的样本,对这个区域的转移比较有把握;在训练集没覆盖到的地方,模型只能靠外推,外推结果的可信程度取决于函数类的先验,而这通常不可靠。认知不确定性会随着数据增多而减少——这正是它最有用的地方:它是「该去探索哪里」的信号。

两组概念在机器学习里有成熟的贝叶斯解释。设模型的参数为 θ\theta,在数据集 D\mathcal{D} 上的后验为 p(θ∣D)p(\theta \mid \mathcal{D}),对新输入 xx 的预测分布为

p(y∣x,D)=∫p(y∣x,θ) p(θ∣D) dθ.p(y \mid x, \mathcal{D}) = \int p(y \mid x, \theta)\, p(\theta \mid \mathcal{D}) \, d\theta.

利用全方差公式,这个预测分布的方差可以拆成

Var⁡[y∣x,D]=Eθ∼p(θ∣D)[Var⁡(y∣x,θ)]⏟偶然+Var⁡θ∼p(θ∣D)[E(y∣x,θ)]⏟认知.\operatorname{Var}[y \mid x, \mathcal{D}] = \underbrace{\mathbb{E}_{\theta \sim p(\theta|\mathcal{D})}\big[\operatorname{Var}(y \mid x, \theta)\big]}_{\text{偶然}} + \underbrace{\operatorname{Var}_{\theta \sim p(\theta|\mathcal{D})}\big[\mathbb{E}(y \mid x, \theta)\big]}_{\text{认知}}.

第一项对参数后验取平均:即使参数完全确定,每个模型本身也会在输出上产生随机性,这一项就是偶然不确定性的平均。第二项衡量的是「不同参数假设下,同一个输入的平均预测差别有多大」——如果不同参数都能很好地解释数据,那么在这些参数之间的分歧就反映了我们对 ff 的无知。

这个拆分的实际价值在于:只有第二项能指路。 当模型在某个状态上认知不确定性高,说明那里是知识盲区,值得去采样;当偶然不确定性高而认知不确定性低,说明模型已经理解了这个区域,只是那里本来就是随机的,再多的数据也不会让预测更精确,过度相信这一点反而会让规划器「为了消除噪声而反复尝试」。后续几节会看到,几乎所有用世界模型做探索的方法,都在设法孤立出认知不确定性这一项。

这两种不确定性对闭环的作用也不同。偶然不确定性可以被视为一个需要容忍的底噪:规划对它的正确反应是「预留余量」,而不是「搜索更久」。认知不确定性则是一个可以被主动削减的量:正确的反应是「要么去观测它,要么在这次决策里绕开它」。混淆二者会让你在随机噪声上浪费探索预算,或者在无知区域过度自信。

怎么让一个动力学模型输出分布

上一节把不确定性拆成了两项,但要真正用起来,模型必须能够输出一个分布,而不只是一个点。常见的做法有五种,前四种直接或间接地给出了偶然与认知的某种组合,第五种是折中方案。

方案一:输出分布参数的异方差网络

最简单也最便宜的做法,是让网络除了预测均值,还预测方差。对状态维度中的第 dd 维,网络输出 μθ(s,a)d\mu_\theta(s,a)_d 和 σθ(s,a)d\sigma_\theta(s,a)_d,训练目标为高斯负对数似然:

L(θ)=∑d(st+1,d−μθ(st,at)d)22σθ(st,at)d2+12ln⁡σθ(st,at)d2.\mathcal{L}(\theta) = \sum_{d} \frac{(s_{t+1,d} - \mu_\theta(s_t,a_t)_d)^2}{2\sigma_\theta(s_t,a_t)_d^2} + \frac{1}{2}\ln \sigma_\theta(s_t,a_t)_d^2.

这个损失里,方差大的维度对平方误差的惩罚自动降低,网络会优先拟合「确定性高」的维度。工程上的常见做法是把网络拆成两路输出,方差一路通过 softplus⁡\operatorname{softplus} 再加一个下限 σ2≥σmin⁡2\sigma^2 \ge \sigma_{\min}^2,避免某一维方差塌到零导致该维梯度爆炸。Kendall 与 Gal 把这类异方差损失系统化为「偶然不确定性建模」,并指出它在图像任务里让网络学会对噪声大的区域降低梯度权重。

这类网络学到的是偶然不确定性:训练数据里同一个状态-动作对周围的输出波动有多大,它就报多大的方差。它学不到认知不确定性,因为在训练集里,每个 (s,a)(s,a) 只有有限个样本,网络只要把所有样本都拟合了,它在这些点上的方差就不会大;而在训练集之外,异方差网络的外推没有约束,方差可以随意地大或小,完全不反映真实的误差。PETS 论文明确指出这一点:单纯的异方差网络没有体现任何关于 ff 的参数不确定性,因此不能直接用于不确定性感知的传播。

方案二:集成

集成(ensemble)是模型基学习里最主流的方法。训练 MM 个相互独立的动力学模型,每个模型的参数从不同的随机初始化出发,训练在不同的 bootstrap 子采样上,然后:

μ(s,a)=1M∑m=1Mμθm(s,a),uepi(s,a)=1M−1∑m=1M(μθm(s,a)−μ(s,a))2.\mu(s,a) = \frac{1}{M}\sum_{m=1}^{M} \mu_{\theta_m}(s,a), \qquad u_{\text{epi}}(s,a) = \frac{1}{M-1}\sum_{m=1}^{M} \big(\mu_{\theta_m}(s,a) - \mu(s,a)\big)^2.

各模型的均值方差 uepiu_{\text{epi}} 就是认知不确定性的经验代理。它的合理性在于:在训练数据内,所有成员都对同一个样本做过拟合,输出彼此靠拢;在训练数据外,每个成员的先验不同、外推路径不同,输出自然彼此分歧。bootstrap 让「看到的数据不同」成为分歧的来源,因此即使不逐成员使用异方差输出,纯集成也能得到一个可用的认知不确定性估计。

集成最大的代价是推理成本乘以 MM。MM 通常取 5 到 7 之间:太少,成员之间的分歧有较大噪声;太多,推理成本线性增长,而额外的成员对分歧估计的改善迅速递减。PETS 的图示中为了清晰画了 2 个成员,正文说明默认使用 5 个 bootstrap。

需要强调的是,集成给的是认知不确定性的相对代理,不是真实方差。它的量纲依赖于成员之间的差异,不同的初始化、不同的训练超参数都会改变这个数。所以集成输出的数不应被直接解读为「方差为 xx」,而应被解读为「在这个状态上,成员之间的典型分歧是 xx」——它在排序上是可靠的,在绝对值上并不可靠。

方案三:MC Dropout

在网络的隐藏层中加 dropout,推理时保持 dropout 开启,每次前向传播都随机丢弃一部分神经元,重复 KK 次,得到 KK 个输出:

y^=1K∑kfθ(x;zk),u(x)=1K∑k(fθ(x;zk)−y^)2,\hat{y} = \frac{1}{K}\sum_{k} f_\theta(x; z_k), \qquad u(x) = \frac{1}{K}\sum_k \big(f_\theta(x; z_k) - \hat{y}\big)^2,

其中 zk∼Bernoulli(p)z_k \sim \text{Bernoulli}(p) 是第 kk 次前向的丢弃掩码。它的成本介于异方差网络与集成之间:同样的权重、KK 次前向。相比集成,它不需要训练多个模型,训练成本更低。但 dropout 的随机性有很强的近似:丢弃的是特征通道,并不直接代表对函数形状的假设,所以它给出的方差与真正的后验距离更远,在某些任务上会系统性地低估认知不确定性。

方案四:高斯过程

在低维状态空间里,高斯过程(Gaussian Process)能给出精确的后验方差。对任意输入 x∗x_*,GP 的后验均值与协方差有闭式解:

μ(x∗)=k(x∗,X) (K+σn2I)−1 y,\mu(x_*) = k(x_*, X)\,\big(K + \sigma_n^2 I\big)^{-1}\, y,σ2(x∗)=k(x∗,x∗)−k(x∗,X) (K+σn2I)−1 k(X,x∗),\sigma^2(x_*) = k(x_*, x_*) - k(x_*, X)\,\big(K + \sigma_n^2 I\big)^{-1}\, k(X, x_*),

其中 k(⋅,⋅)k(\cdot,\cdot) 是核函数,KK 是训练点之间的核矩阵,σn2\sigma_n^2 是观测噪声,yy 是训练目标向量。GP 的方差在后验意义下严格成立:远离训练点时变大,训练点密集处接近噪声水平。PILCO 用的就是 GP 动力学模型,它的可靠性在于方差有数学保证。

但 GP 的代价是 O(n3)O(n^3) 的训练与 O(n2)O(n^2) 的每步推理,其中 nn 是训练点数,只适合几百到几千个样本的低维问题。深度模型是另一个极端:容量大、能处理高维图像状态,但不确定性只能靠近似。PILCO 把 GP 动力学与长程不确定性传播结合起来做策略搜索,这套组合的细节和它的复合误差分析可参考第十一篇。

方案五:把价值函数集成当作不确定性信号

在基于价值函数的模型基方法里,还存在一个折中做法:世界模型是确定性的,但价值函数学成集成。TD-MPC2 就是这样做的:它训练多个 Q 函数(默认 5 个),目标值取两个随机子采样成员的较小值;规划器(MPPI)在这个价值函数上评估候选轨迹,多个 Q 函数之间的分歧就成了一个近似的不确定性信号。这种做法的好处是世界模型的 rollout 不需要乘以 MM,额外成本只落在价值函数的推理上;坏处是不确定性只存在于「这条轨迹好不好」这一层,而不是「这个状态是真实世界的哪个位置」这一层,它对状态空间外推的感知能力较弱。

下表把五种做法放在一起对比:

做法捕获的项推理成本训练成本主要缺陷
异方差网络偶然1 次前向1 个模型无认知不确定性
集成偶然 + 认知MM 次前向MM 个模型成本随 MM 线性增长,量纲非真实方差
MC Dropout认知(近似)KK 次前向1 个模型近似程度高,可能低估
高斯过程偶然 + 认知(精确)O(n2)O(n^2)O(n3)O(n^3)无法扩展到高维、大数据
Q 函数集成认知(在价值层)世界模型 1 次 + MM 次价值推理1 个世界模型 + MM 个价值头只反映价值层分歧

PETS 把异方差与集成做了组合:每个集成成员本身是一个异方差网络,于是偶然不确定性来自同一个成员的输出方差,认知不确定性来自成员之间的分歧。这个组合有一个非常关键的好处,下一节会看到:它让两项不确定性在传播过程中可以被持续区分,从而允许规划器用不同的方式对待它们。

沿 rollout 传播:误差预算怎么算

一步预测的方差只是起点。规划器真正需要的是未来 HH 步的状态分布,因为一条动作序列的代价是在整段轨迹上累积的。把一步的分布向前推 HH 步,就是不确定性传播(uncertainty propagation)。这一节要回答三个问题:怎么推、推出来的方差里两项各占多少、以及这个方差随 HH 怎么增长。

PETS 的概率集成模型、轨迹传播与模型预测控制三段式架构

上图是 PETS 的整体结构,从左到右三段:Model 是一个概率集成,每个成员是一个输出均值和方差的神经网络,成员之间通过 bootstrap 制造分歧;Propagation 把当前状态复制成多条粒子轨迹,让每个粒子在模型上逐步前推;Planning 用模型预测控制(MPC)在推出来的轨迹上优化动作序列,执行第一个动作后重新规划。图中最关键的一处细节是「粒子」被画成分叉的树:分叉既来自每个成员内部的采样(偶然),也来自不同成员的选择(认知)。

粒子传播:TS1 与 TS∞

PETS 的做法是把当前状态复制成 PP 个粒子,每个粒子独立地向前推:

st+1p∼f~θb(p,t)(stp,at),p=1,…,P,s_{t+1}^{p} \sim \tilde{f}_{\theta_{b(p,t)}}\big(s_t^{p}, a_t\big), \qquad p = 1,\dots,P,

其中 f~θ\tilde{f}_{\theta} 是带高斯输出的动力学模型,b(p,t)b(p,t) 是粒子 pp 在时刻 tt 使用的集成成员编号。区别就在这个 b(p,t)b(p,t) 怎么取:

  • TS1(trajectory sampling 1):每个时刻为每个粒子随机抽一个成员。粒子在时间轴上不断「换模型」,因此一条轨迹内部就混合了所有成员的行为。
  • TS∞:每个粒子在整段 rollout 中固定使用同一个成员,b(p,t)=b(p)b(p,t) = b(p) 与 tt 无关。

TS∞ 的设计动机是时间不变性:真实动力学 ff 不随时间变化,一个集成成员代表的是一种关于 ff 的假设,这种假设在整条轨迹上应当保持一致。如果一个粒子在第 1 步相信成员 A、第 5 步相信成员 B,那它对应的就不是任何一个连贯的世界假设,而是一个人为混合出来的分布。TS1 的问题在于,这种混合会让方差随 HH 快速增长——每换一次成员就引入一次新的分歧,而这个分歧并不代表「走了 HH 步之后知识变少」,只代表「换了个模型」。

TS∞ 还有一个直接的分析好处:两项不确定性可以分开算。把同一成员下的粒子归为一组,组内方差是偶然不确定性,组间均值的方差是认知不确定性:

uale(st)=1M∑m=1MVar⁡(stp∣b(p)=m),u_{\text{ale}}(s_t) = \frac{1}{M}\sum_{m=1}^{M} \operatorname{Var}\big(s_t^{p} \mid b(p)=m\big),uepi(st)=1M∑m=1M(E[stp∣b(p)=m]−E[stp])2.u_{\text{epi}}(s_t) = \frac{1}{M}\sum_{m=1}^{M} \Big( \mathbb{E}\big[s_t^{p} \mid b(p)=m\big] - \mathbb{E}[s_t^{p}] \Big)^2.

这两个式子是 Depeweg 等人给出的分解在粒子层面的实现。它们让规划器可以分别读取两项:如果 uepiu_{\text{epi}} 大,说明这个区域没数据,应该保守;如果只有 ualeu_{\text{ale}} 大,说明区域本身噪声大,应该预留控制余量而不是改变策略。

矩匹配:把粒子云压成一个高斯

粒子法的代价是每个粒子都要过一次网络,PP 条轨迹意味着 P×HP \times H 次前向。另一种做法是矩匹配(moment matching):在每一步,把当前所有粒子的预测分布合并成一个高斯,再从合并后的高斯里采样固定数量的粒子。合并公式就是全方差公式在粒子上的版本:

μ′=1P∑p=1Pμp,Σ′=1P∑p=1P[Σp+(μp−μ′)(μp−μ′)⊤],\mu' = \frac{1}{P}\sum_{p=1}^{P}\mu_p, \qquad \Sigma' = \frac{1}{P}\sum_{p=1}^{P}\Big[\Sigma_p + (\mu_p-\mu')(\mu_p-\mu')^{\top}\Big],

其中 μp,Σp\mu_p,\Sigma_p 是第 pp 个粒子在当前步的预测均值与协方差。方括号里的 Σp\Sigma_p 平均后是偶然项,均值离散度 (μp−μ′)(μp−μ′)⊤(\mu_p-\mu')(\mu_p-\mu')^{\top} 平均后是认知项。矩匹配的计算量比粒子法小:每步只维护一个高斯,不需要保留完整的粒子集合。

代价是分布形状的丢失。世界模型的未来常常是多峰的:推一个杯子,它可能往左倒,也可能往右倒,中间的状态几乎不可能。矩匹配把两个峰压成一个宽高斯,这个高斯的均值可能落在「杯子直立」这个现实中不会出现的位置,规划器据此算出的动作就会完全错误。所以矩匹配适合近似单峰的连续控制任务,不适合接触丰富、分支明显的操作任务。选择传播方式本质上是在「保留多峰」和「节省算力」之间做取舍。

误差预算:为什么是 HH 而不是 H\sqrt{H}

传播的方差怎么随 HH 增长,取决于误差的性质。如果每一步的模型误差是独立同分布的随机噪声,方差按 H\sqrt{H} 增长;如果误差是系统性偏差,那就按 HH 增长。世界模型的误差主要是后者:模型在同一个区域总是把摩擦系数估小,这个偏差在每一步都朝同一个方向推,于是误差线性累积,而不是相互抵消。可以用一个 Lipschitz 界把这件事写清楚。设真实动力学 ff 关于状态是 LL-Lipschitz 的,每步模型误差为 δt=∥f(st,at)−f^(st,at)∥\delta_t = \|f(s_t,a_t) - \hat{f}(s_t,a_t)\|,则

∥sH−s^H∥≤LH∥s0−s^0∥+∑t=0H−1LH−1−t δt.\|s_H - \hat{s}_H\| \le L^{H}\|s_0 - \hat{s}_0\| + \sum_{t=0}^{H-1} L^{H-1-t}\,\delta_t.

这个不等式说明两件事。第一,即使初始状态完全准确,HH 步之后误差也被每一步的 δt\delta_t 以 LL 的幂次放大;当 L>1L>1(很多接触动力学都属于这一类),误差是指数放大的,而不是线性。第二,最后几步的误差权重最大,因为它们的放大次数最少;越早的误差被放大得越厉害。这与第十九篇讨论的闭环误差递推是同一个机制在开环 rollout 里的版本:闭环靠观测把状态拉回真值,开环没有这个机会,所以只能靠缩短 HH 或降低 δt\delta_t 来控制。

实际系统里 δt\delta_t 本身随 tt 增长:rollout 越往后,状态越偏离训练分布,模型在那里的误差越大。这就形成了双重放大——误差随步数增长,放大因子也随步数增长。所以「多推几步会更准」是一个危险的直觉,正确的直觉是「多推一步,误差预算要按乘法而不是加法更新」。

正因为如此,几乎所有实用的模型基方法都在限制 rollout 长度。MBPO 的做法是从真实数据分布里取一个状态作为分支点(branching),只向前推很短的 kk 步,训练时不断换分支点重新开始。论文的实验里,把 kk 固定为 1 就已经保留了大部分收益,而最好的调度也只是从 1 线性增长到 15。这个结果说明:短 rollout 加上频繁的真实数据校正,比长 rollout 更划算。近期也有工作直接把截断阈值绑在认知不确定性上,一旦某个粒子的 uepiu_{\text{epi}} 超过阈值就停止该分支,把算力留给还有信息量的轨迹。

PETS 在 Cartpole 训练数据上按偶然不确定性排序的预测误差PETS 在 Cartpole 训练数据上按认知不确定性排序的预测误差

上面两张图是 PETS 论文里区分两类不确定性的关键实验。横轴是把测试点按模型给出的不确定性从小到大排序后的序号,纵轴是实际的预测误差。上图按偶然不确定性排序,下图按认知不确定性排序。可以看到:按认知不确定性排序时,误差随序号上升的趋势明显更陡——也就是说,模型自己报出的认知不确定性,确实能把「误差大」的点排到后面去。这个实验的价值不在于两条曲线谁更漂亮,而在于它验证了一个可操作的命题:集成成员之间的分歧可以作为「模型会在哪里错」的排序信号。如果这个信号无效,后面所有基于不确定性惩罚的规划方法都失去了依据。

规划为什么需要不确定性

规划器的目标是在模型上找到一条代价最低的动作序列,然后用它去执行。如果模型在候选区域上系统性地高估收益、低估代价,规划器就会专门挑这些区域——不是因为它真的想去那里,而是因为那里在模型里看起来最好。这就是模型利用(model exploitation):优化器会主动寻找模型的漏洞,和数据稀疏处模型误差大的性质正好对齐。不确定性进入规划,本质上是为了阻止优化器把预算花在「模型自己都不确定」的地方。

悲观主义:用不确定性给奖励打折

最直接的做法是对奖励或代价做惩罚。MOPO 对离线场景给出了一个清晰的定义:考虑不确定性惩罚后的奖励

r~(s,a)=r(s,a)−λ u(s,a),\tilde{r}(s,a) = r(s,a) - \lambda\, u(s,a),

其中 u(s,a)u(s,a) 是对模型误差的估计,λ\lambda 是一个把误差单位换算到奖励单位的系数。MOPO 的理论推导给出 λ=γc\lambda = \gamma c,cc 是误差界中的常数,γ\gamma 是折扣因子。这个形式的核心性质是:在估计出的误差界之内,惩罚后的 MDP 的回报是真实回报的下界,所以最大化 r~\tilde{r} 得到的是一个保守的策略——它在模型误差大的地方会自动打折,不去碰。

惩罚项并非对所有状态一视同仁。MOPO 强调误差估计是模型相关的:只在模型误差确实大的地方惩罚,而不是对「所有分布外状态」统一惩罚。这个细节很重要,因为把一个模型已经学得很好的区域也惩罚掉,会让学习变得过度保守,最终策略在真实环境里表现很差。MOReL 走的是另一条路线:它用模型不确定性定义一个「不可达」集合,rollout 一旦进入高不确定区域就终止,并由一个固定的惩罚值接管后续回报。两种做法都在把不确定性翻译成「不要往那里去」,只是一个改奖励,一个改可达性。

同样的思想可以搬到规划上。规划器对每条候选轨迹积分惩罚后的代价:

J(a0:H−1)=∑t=0H−1c(s^t,at)+β∑t=0H−1u(s^t,at),J(a_{0:H-1}) = \sum_{t=0}^{H-1} c(\hat{s}_t, a_t) + \beta \sum_{t=0}^{H-1} u(\hat{s}_t, a_t),

其中 cc 是名义代价,β\beta 是规划层面的惩罚系数,uu 可以是一步方差,也可以是按上面 Lipschitz 界累积的轨迹级方差。β\beta 的取值是一个工程取舍:太小,无法阻止模型利用;太大,规划器会退化成「只走训练过的最保守路径」,错过绕障。实践中 β\beta 通常和动作采样噪声、轨迹长度一起调,并且随着 rollout 步数增大而增大,因为后面的步数误差预算更高。

鲁棒规划:把不确定性当成集合

悲观主义是「对每条轨迹的代价打折」,鲁棒规划是「要求每条轨迹在一组可能的模型里都安全」。设每个模型 f^θm\hat{f}_{\theta_m} 都给出一个轨迹,要求

min⁡m∈{1,…,M}Jθm(a0:H−1)\min_{m \in \{1,\dots,M\}} J_{\theta_m}(a_{0:H-1})

作为这条动作序列的得分,即取所有成员里最差的那个。这个准则的代价是显而易见的:要在 MM 个模型上各推一遍,算力是悲观主义的 MM 倍。但它给出的保证更强:任何一条被选中的动作序列,在集成所有成员的预测下都不至于灾难性失败。

在实际系统里,悲观主义和鲁棒规划常常混用:用集成成员的均值算名义代价,用成员间分歧算惩罚项,即 J=Jˉ+β Var⁡m(Jm)J = \bar{J} + \beta\, \operatorname{Var}_m(J_m),既不要求最坏情况,又比单一模型稳健。TD-MPC2 采用的就是类似的思路:在 MPPI 里用一组 Q 函数评估候选轨迹,目标值取两个随机子采样成员的较小值,同时对轨迹上的动作做惩罚。

TD-MPC2 架构:共享编码器、潜空间动力学、奖励与价值头、策略先验与 MPPI 规划

上图是 TD-MPC2 的架构。观测 ss 先经过编码器得到归一化的潜状态 zz,动力学头在潜空间里预测下一时刻的 zz、奖励 rr 和续存信号 dd,价值头给出 QQ 值,策略先验给出动作分布,最后由 MPPI 用采样轨迹优化动作序列。图中价值头画了多个副本,对应默认 5 个 Q 函数的集成;世界模型本身只有一套。把它和 PETS 的结构对比,可以看到两种不确定性预算:PETS 把成本花在世界模型的集成上,代价是 rollout 乘以 MM;TD-MPC2 把成本花在价值函数的集成上,世界模型的 rollout 只做一次。前者能感知「状态空间哪里没数据」,后者只能感知「价值估计有多不稳」,这是两条不同的工程路线。

风险敏感:优化尾部而不是均值

惩罚项和鲁棒最小值都在压缩不确定性,但它们仍然是在优化某种「平均」。对安全关键的系统,真正需要控制的不是平均回报,而是最坏的那一小部分结果。条件风险价值(CVaR)给出了一个可以直接嵌入规划的目标。设 ZZ 是轨迹回报这个随机变量,α∈(0,1)\alpha \in (0,1) 是尾部比例,则

CVaRα(Z)=1α∫0αFZ−1(u) du,\mathrm{CVaR}_\alpha(Z) = \frac{1}{\alpha}\int_0^{\alpha} F_Z^{-1}(u)\,du,

其中 FZ−1F_Z^{-1} 是回报分布的逆累积分布函数。直观地说,它把最差的 α\alpha 比例的回报取平均。用粒子实现时非常好算:把 KK 条候选轨迹的回报从小到大排序,取前 ⌈αK⌉\lceil \alpha K \rceil 条的均值。规划目标从 max⁡E[Z]\max \mathbb{E}[Z] 换成 max⁡CVaRα(Z)\max \mathrm{CVaR}_\alpha(Z),就得到一条对稀有灾难更敏感的准则。

这个目标之所以在世界模型里特别有意义,是因为模型误差造成的失败往往不是均匀分布的:大多数轨迹的预测还算准,少数进入接触、遮挡或高速运动的轨迹误差极大。均值把这些少数灾难稀释掉,CVaR 则把它们挑出来。代价是尾部估计的方差很大:α=0.05\alpha=0.05、K=512K=512 时只有约 25 条轨迹参与平均,估计噪声本身可能盖过真实差异。要么增大 KK,要么提高 α\alpha,两者都在花算力。更根本的风险是:CVaR 用的是世界模型给出的回报分布,如果模型系统性低估某类失败的概率,尾部就根本不会出现在样本里,再精细的 CVaR 也无济于事——风险敏感规划不能替代模型本身的覆盖度。

不确定性作为探索预算

当世界模型的用途不是「控制一个已知任务」,而是「自己找任务」(探索),不确定性就变成了目标本身而不是约束。Plan2Explore 的做法很简洁:规划的目标不是最大化奖励,而是最大化预测未来若干步观测时的信息增益,或者更具体地说,最大化集成成员在 latent 空间上的分歧:

J(a0:H−1)=∑t=0H−1Var⁡m(z^θm(st,at)),J(a_{0:H-1}) = \sum_{t=0}^{H-1} \operatorname{Var}_{m}\big(\hat{z}_{\theta_m}(s_t, a_t)\big),

其中 z^\hat{z} 是模型预测的潜在状态。执行这条轨迹,就会把系统带到「模型最不认识」的地方,从而获取最有信息量的数据。这个目标不需要奖励函数,因此可以在没有任务信号的条件下先做预训练,这就是 Plan2Explore 所说的「零样本探索」:先在没有奖励的环境里通过最大化认知不确定性积累一个能快速适应的世界模型,遇到新任务时只需要少量样本微调。

这个用法的关键前提是认知不确定性必须被孤立出来。如果直接用总方差做目标,智能体会被「本身就噪声大」的区域吸住——例如一个反光强烈的镜面,任何模型在那里都预测不准,但这不意味着那里有值得学的知识。这也是为什么 Plan2Explore 用集成成员之间的分歧而不是单个模型的输出方差:分歧反映的是「知识不足」,输出方差反映的是「数据噪声」。二者在闭环中的含义正好相反。

这一层也解释了本篇为什么值得放在系列的这个位置:第二十九篇讲主动感知如何在观测上花预算,本篇讲的是同一份认知不确定性如何先在模型输出上被定价、再沿着预测被放大、最后进入规划的取舍。三个环节串联起来,才是一个完整的不确定性闭环。

推理账本:不确定性不是免费的

前几节讲的是机制,这一节算成本。对推理系统而言,不确定性不是附赠属性,它要么花算力(集成、多次前向)、要么花精度(近似)、要么花工程复杂度(训练多个头但只跑一次)。这一节把账摊开。

集成的乘法账

设世界模型单次前向在目标硬件上的延迟为 τ\tau,集成规模为 MM,规划器每次决策采样 KK 条轨迹、每条轨迹长度为 HH。用朴素方式实现时,一次决策的总前向次数为

Nfwd=M×K×H.N_{\text{fwd}} = M \times K \times H.

以 M=5M=5、K=512K=512、H=12H=12 为例,Nfwd=30720N_{\text{fwd}} = 30720。如果单次前向是 0.5 ms,总时间约 15 秒,远超大多数实时控制回路(几十毫秒到几百毫秒)的预算。这就是为什么「集成 + 长 rollout + 大样本规划」在算力受限时不可行,必须从三个方向同时削减。

第一个方向是批量化。上面 30720 次前向不是串行执行的:同一时刻的 K×MK \times M 个粒子可以拼成一个 batch,GPU 的矩阵乘法吞吐能把有效延迟压到远低于逐次相加。设一次批量前向的固定开销为 τ0\tau_0,吞吐为每秒 RR 个样本,则总时间近似为

T≈∑t=0H−1(τ0+MKR)=Hτ0+HMKR.T \approx \sum_{t=0}^{H-1} \left(\tau_0 + \frac{MK}{R}\right) = H\tau_0 + \frac{HMK}{R}.

当 MK/R≫τ0MK/R \gg \tau_0 时,成本由吞吐决定,集成的乘法被 GPU 的并行度部分吸收;当 MKMK 不大时,每步的固定开销占主导,批量化的收益有限。这解释了为什么小模型上的集成反而更贵:单次前向太便宜,批处理的固定开销摊不掉。

第二个方向是摊销集成。如果模型大部分参数是共享的(例如一个共享编码器加 MM 个轻量预测头),那么每个成员只多一个小头的前向,成本从 M×M \times 全模型降到 1×1 \times 编码器 +M×+ M \times 小头。这种结构在推理侧的收益很大,但代价是成员之间共享了编码器,分歧会变小,认知不确定性的估计会变保守。工程上需要在「共享程度」和「分歧灵敏度」之间做取舍。

第三个方向是只对一部分轨迹算不确定性。规划器先用单一模型(或均值模型)对全部 KK 条候选打分,再只对排名前若干的候选计算集成方差,用方差做重排。这把集成成本从「全部候选」降到「精英候选」,代价是第一步筛选用的是没有不确定性信息的分数,可能把「模型不确定但真实很好」的候选提前淘汰。

单次前向方案的账

异方差网络、MC Dropout、证据学习都属于「一次或 KK 次前向」的路线。证据学习(evidential deep learning)把预测分布的超参数直接作为网络输出(分类任务用狄利克雷分布,回归任务用正态逆伽马分布),一次前向就能得到两项不确定性的分量;但它的认知分量在分布外会退化,可靠性依赖训练分布的形状。它们的成本比集成低,但要注意 dropout 的 KK 次前向同样要乘以规划次数:如果每次决策都要对 KK 个候选做 KdK_d 次 dropout 采样,前向次数是 K×Kd×HK \times K_d \times H,和集成处于同一个量级。真正便宜的只有「一次前向直接输出方差」的异方差网络与证据学习,但它们无法给出认知不确定性,不能替代集成在探索和悲观惩罚里的作用。

显存账

集成的另一个成本是显存。MM 份参数加上 MM 份优化器状态(如果训练在同一进程里),显存占用近似线性增长。在机器人本体这类边缘设备上,M=5M=5 的集成可能直接超出可用显存,此时只能选择:降低 MM、共享主干、蒸馏成一个带不确定性头的学生模型,或者把不确定性计算挪到云端。每一种都在改变不确定性信号的质量,而不是免费获得它。

这也把本篇和第十篇的硬件账连了起来:第十篇算的是单次 rollout 的能耗下界,本篇算的是「为了知道这次 rollout 有多可信,要多花几倍的 rollout」。两者相加,才是一条不确定性感知策略的真实成本。推理延迟的完整拆分(KV 缓存、去噪步数与调度开销)见第九篇;本篇多出来的是集成规模 MM 这一维。

不确定性本身怎么检验

一个模型输出「方差是 0.3」,这句话本身没有对错,除非能拿真实结果去对照。不确定性估计的检验比精度检验更难:真实的不确定性没有标签,你只能看到一次采样。这一节给出三类可操作的检验,它们回答的是不同的问题。

检验一:校准——报出来的区间,是否真的覆盖了那么多

校准(calibration)问的是:模型说「我有 90% 把握真实值落在这个区间」,那么在测试集上,真实值是否真的落在区间里 90% 的次数。形式化地,设模型对样本 ii 的预测分布为 FiF_i,中心区间覆盖率为 pp,则区间为

[Fi−1(1−p2),  Fi−1(1+p2)].\big[F_i^{-1}\big(\tfrac{1-p}{2}\big),\; F_i^{-1}\big(\tfrac{1+p}{2}\big)\big].

在 NN 个测试样本上的经验覆盖率为

cov^(p)=1N∑i=1N1[Fi−1(1−p2)≤yi≤Fi−1(1+p2)].\hat{\mathrm{cov}}(p) = \frac{1}{N}\sum_{i=1}^{N} \mathbb{1}\Big[ F_i^{-1}\big(\tfrac{1-p}{2}\big) \le y_i \le F_i^{-1}\big(\tfrac{1+p}{2}\big) \Big].

把 cov^(p)\hat{\mathrm{cov}}(p) 对 pp 画出来就是可靠性图(reliability diagram)。完美校准的模型落在对角线上;点在对角线下方表示区间太窄(过度自信),在上方表示区间太宽(过度保守)。另一个等价的工具是 PIT 直方图:计算 ui=Fi(yi)u_i = F_i(y_i),如果模型校准良好,uiu_i 应当在 [0,1][0,1] 上均匀分布。PIT 偏离均匀的形状还能诊断偏差方向:U 形说明方差被低估,倒 U 形说明方差被高估。

工程上几乎没有一个神经网络动力学模型是天生校准的。Kuleshov 等人提出的校准回归(calibrated regression)做法是:在验证集上收集 (Fi,yi)(F_i, y_i),训练一个额外的校准器,把模型输出的分位数映射到经验分位数。这个校准器可以是一个保序回归(isotonic regression),学习一个单调映射 gg,使得 g∘Fig \circ F_i 的分位数与经验覆盖对齐。它的代价很小,但需要在与部署分布一致的验证集上训练,一旦分布漂移,校准器本身也会失效。

校准检验有一个致命的陷阱:在训练分布上做校准,几乎总是好看的。集成在训练集上成员彼此一致,方差小且覆盖也准;一旦离开训练分布,方差可能急剧增大,但增大的方向和真实误差不一定对齐。所以校准必须按外推程度分层报告,例如按状态到最近训练样本的距离分桶,分别画可靠性图。只报一个总体覆盖率,会把「分布内很准」和「分布外完全失准」平均成一个看似中等的数字。

检验二:区分力——不确定性高的地方,误差是否真的更大

校准回答「数值对不对」,区分力(discrimination)回答「排序对不对」。规划器用不确定性做惩罚、探索算法用它做目标,依赖的都不是绝对数值,而是「不确定性高的状态误差也大」这个单调关系。

最常用的指标是 AUROC:把测试样本按模型给出的不确定性排序,把「误差超过阈值」的样本当作正类,计算 ROC 曲线下的面积。0.5 表示不确定性排序与误差无关,1.0 表示完全可分。这个指标不依赖不确定性的绝对量纲,因此特别适合评估集成的分歧度——分歧度的数值本身没有意义,排序才有意义。PETS 论文里的两张排序误差图,本质上就是区分力的可视化版本:横轴是按不确定性排序后的样本序号,纵轴是实际误差,曲线越单调上升,区分力越强。

除了 AUROC,还可以计算不确定性与绝对误差的 Spearman 秩相关。它比 Pearson 相关更稳健,因为误差分布通常重尾。工程上还有一个更贴近使用的指标:选择性预测的风险-覆盖率曲线——按不确定性从低到高逐步纳入样本,画出已纳入样本的平均误差。一个可用的不确定性估计,应当让这条曲线在低覆盖率区间显著低于随机纳入的基线。

检验三:数据响应——加数据之后,哪一项在下降

这是区分偶然与认知不确定性最直接的操作化检验,也是 PETS 论文用来验证其分解的实验设计。做法是:

  1. 用不同数量的训练数据训练同一套模型;
  2. 在固定的测试集上,分别计算偶然不确定性与认知不确定性的平均值;
  3. 观察两条曲线随数据量变化的趋势。

正确的行为是:认知不确定性随数据增加而下降,偶然不确定性基本不变或下降到一个平台。如果两者一起下降,说明所谓的「认知」项实际上混入了数据噪声;如果认知项不随数据下降,说明它没有捕获「知识不足」,而只是初始化噪声的固定图案。

这个检验还可以做成更强的版本:固定测试点,把训练集中该点附近的数据逐步移除,观察该点的认知不确定性是否单调上升,而同一区域偶然不确定性是否保持稳定。这比只看平均值更有说服力,因为它直接检验了「认知不确定性定位在数据稀疏处」这一因果假设。

检验四:在 rollout 分布上,而不是一步分布上

上面三个检验都可以在一对 (st,at)→st+1(s_t,a_t) \to s_{t+1} 上做,但规划器用的是 HH 步 rollout。一步校准良好,不等于多步校准良好:一步的小误差会被后续步骤放大,而且后面的状态落在训练分布之外,模型在那里的方差估计可能完全失真。正确的评估协议是按 horizon 分层:对 h=1,2,…,Hh=1,2,\dots,H 分别计算覆盖率与 AUROC,观察它们随 hh 的退化速度。退化速度本身就是模型能否支持长 rollout 的直接证据。

评估时还要注意数据泄漏。随机切分帧会把同一条轨迹的相邻帧分到训练集和测试集,模型可以靠「记住轨迹」通过测试,得到的校准指标严重偏乐观。应当按整条轨迹切分,并且测试集的初始状态分布要与部署时一致。如果部署时机器人总是从某个初始位姿出发,测试集也应当覆盖这个分布,而不是只用随机初始状态。

用什么评分规则

严格来说,评估预测分布应该用proper scoring rule:只有报告真实分布时才能取得最优期望得分的规则。负对数似然(NLL)是最常见的一个:

NLL=−1N∑i=1Nln⁡pθ(yi∣xi).\mathrm{NLL} = -\frac{1}{N}\sum_{i=1}^{N} \ln p_\theta(y_i \mid x_i).

它的缺点是会被「方差膨胀」钻空子:把方差整体调大,NLL 在误差大的样本上会改善,即使分布形状完全不对。连续排名概率得分(CRPS)对这个问题更稳健:

CRPS(Fi,yi)=∫−∞∞(Fi(x)−1[x≥yi])2 dx,\mathrm{CRPS}(F_i, y_i) = \int_{-\infty}^{\infty} \big( F_i(x) - \mathbb{1}[x \ge y_i] \big)^2 \, dx,

它同时惩罚偏差和过度分散,单位与目标变量相同,便于跨任务比较。实践中建议同时报告 NLL、CRPS 与覆盖率,三者从不同角度约束分布:NLL 看整体似然,CRPS 看形状与锐度,覆盖率看区间是否可信。

小结

不确定性这一层,把一个只会预测的函数变成了一个能给自己的预测定价的函数。收成五句话:

  • 两种来源必须分开。 偶然不确定性是环境本身的随机性,数据再多也不会消失;认知不确定性是知识不足,会随数据增加而下降。只有后者能指导探索,也只有后者应该被用来判断「这个区域能不能信」。把两者混成一个方差,就失去了区分「该探索」和「该容忍」的能力。
  • 输出分布的方式决定了你能拿到哪一项。 异方差网络只给偶然项,集成给两项但推理成本乘以成员数,MC Dropout 是廉价的近似认知项,高斯过程在小规模问题上有精确保证,价值函数集成则把不确定性限制在「这条轨迹好不好」这一层。没有一种方案同时做到便宜、精确、覆盖两项。
  • 传播不是把方差加起来。 TS∞ 通过固定每个粒子的成员身份保留了时间不变性,也让两项不确定性可以分开计算;矩匹配便宜但会把多峰未来压成单峰。误差预算的真实增长接近 HH 甚至指数级,因为世界模型的误差是系统性偏差而非独立噪声。短 rollout 加频繁真实数据分支,是对这个预算最直接的控制手段。
  • 规划需要不确定性,但用法有方向。 悲观惩罚把不确定性变成奖励上的折扣,鲁棒规划要求候选在最差成员下也安全,风险敏感目标优化尾部而不是均值,探索目标则反过来把认知不确定性当成奖励。同一个量,符号不同,行为就完全相反——这是设计时最容易搞错的地方。
  • 不确定性必须被检验,而且要在 rollout 分布上检验。 校准看区间覆盖,区分力看排序,数据响应看两项随数据量的不同变化,分层评估看它随 horizon 的退化。只报一个总体方差或只在一成分布上校准,等于没有检验。

系列走到这里,不确定性的「估计—传播—使用—核算—检验」已经闭合。沿着这条线再往前走,自然的下一站是感知与执行的联合调度:本篇算的是「一次预测有多可信」,第二十九篇算的是「一次观测值多少信息」,而真实系统必须在同一个时间轴上决定「先看、先走、还是先动手」,三者共享同一份不确定性预算。这需要把第七篇的延迟预算、第八篇的规划搜索、第二十九篇的信息定价和本篇的误差预算合并成一个调度器,也是这个系列从「理解世界模型」走向「把世界模型放进系统」的下一步。

参考资料

  1. Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models (PETS)
  2. Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning
  3. When to Trust Your Model: Model-Based Policy Optimization (MBPO)
  4. MOPO: Model-based Offline Policy Optimization
  5. MOReL: Model-Based Offline Reinforcement Learning
  6. Planning to Explore via Self-Supervised World Models (Plan2Explore)
  7. TD-MPC2: Scalable, Robust World Models for Continuous Control
  8. What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?
  9. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
  10. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
  11. Accurate Uncertainties for Deep Learning Using Calibrated Regression
  12. Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach
  13. Evidential Deep Learning to Quantify Classification Uncertainty
  14. PILCO: A Model-Based and Data-Efficient Approach to Policy Search

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(三十):模型有多确定——两类不确定性如何穿过预测与规划
https://pinghaoyang.com.cn/articles/insights/posts/world-model-uncertainty-part-30/
作者
平昊阳
发布于
2026-11-19
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录