世界模型从零讲起(三十八):手里这个到底是什么——物体假设信念、解释树与主动辨识

16782 字
84 分钟
世界模型从零讲起(三十八):手里这个到底是什么——物体假设信念、解释树与主动辨识

从上一篇接上:边界知道了,手里是什么还不知道

上一篇处理的是「接触发生没有」这个问题的不可观测版本:边界没有可直接测量的读数,于是账本单位从时间点换成信念状态,从「现在在第几段」换成「每个假设还缺多少证据」。那一篇结束时埋下了一个更靠前的追问,这一篇正面处理它。

边界是「何时」。但在很多任务里,比「何时」更难的是「何物」。夹爪闭合到某个位置,指尖传来的力在爬升,力矩签名稳定下来——接触确实发生了,可是手里这个东西是什么?是一盒纸巾,还是一块包着泡沫的金属块?是空箱子,还是装了半箱水的箱子?外观相近、质量不同、摩擦不同、内部自由度不同。世界模型要对下一步做预测,就必须先决定「按哪种物体来预测」。

这个问题不是分类问题。分类问题问的是「它属于哪个已知类别」,输出一个标签;这里问的是「接下来该按哪套动力学和哪套参数做预测」,输出的是一个关于世界解释的分布,并且这个分布会随着探测动作变化,还会随着新证据合并、分裂。一个看起来像纸箱的物体,拿起来发现比预期重,它的假设不会简单地跳到「金属块」,而是在「纸箱但内部有填充」「更厚的瓦楞纸板」「尺寸估计偏小」之间重新分配权重。这就是这一篇要建立的对象:物体假设信念——信念里装的是「世界的哪种解释」,而不是「某个物体」。

先定位它在系列中的位置。(一) 给出了 POMDP 形式化与信念状态;(三十) 讨论了不确定性如何穿过预测与规划;(三十一) 与 (三十二) 讨论了因果结构与跨环境迁移;(三十七) 把信念用于接触事件。这一篇把信念的分辨率提高一层:从「状态是多少」变成「模型是哪一套」。下文会反复回到这三条线:信念更新、假设的等价性、以及探测动作的信息收益。

问题定义:当「物体」本身是隐变量

为什么物体身份不能当成已知输入

把物体身份当作输入的写法在工程里很常见:上游视觉模块给出类别标签与位姿,下游世界模型按这个标签取对应的动力学参数。这条流水线在演示里工作得很好,因为演示通常只用少数几类物体,而且摆放规整。它失效的地方有三处。

第一处是类别外。真实环境里的物体大量落在训练类别之外,或者落在两个类别的边界上:一个装着杂物的收纳盒,既不是「盒子」也不是「杂物」。分类器会强行给出一个最接近的标签,而这个标签对应的质量、摩擦、刚度可能与实物相差很远。世界模型随后按错误的参数预测,误差在闭环里被放大(放大机制见 (十九):误差走进闭环)。

第二处是同一类别内部的巨大差异。同一型号的纸箱,空箱与装满书的箱子,质量可以差十倍,质心位置完全不同。类别标签不携带这些信息,而抓取规划恰恰依赖它们。

第三处是身份会变。抓取过程中物体可能被替换(多物体堆叠时抓错),可能被部分破坏(易碎品裂开),可能被打开(盒盖翻开,内部质量分布改变)。身份一旦变化,按旧身份维护的信念必须整体重估,而不是微调几个参数。

把身份写成离散隐变量

把上述困难形式化,最直接的做法是在状态里加一个离散变量 oo,表示物体假说(object hypothesis),再给每个假说配一组连续参数 θ\theta:

st=(xt, ot, θot)s_t = \big(x_t,\ o_t,\ \theta_{o_t}\big)

其中 xtx_t 是运动状态(末端位姿、关节角、速度、物体位姿),ot∈Oo_t \in \mathcal{O} 是假说编号,θo\theta_{o} 是假说 oo 自己的参数向量——质量、质心、惯性张量、摩擦系数、刚度、内部自由度等。注意 θ\theta 的下标:不同假说的参数空间可以不同。这一点与普通的混合模型不一样:一个「刚体盒子」假说有 10 个参数,一个「装了半箱水的箱子」假说还要加上液面高度与晃动模态,两者的参数向量长度不同,不能直接做算术平均。

于是信念变成

bt(o,θ)=p(ot=o, θot=θ∣y1:t,a0:t−1)b_t(o, \theta) = p\big(o_t = o,\ \theta_{o_t} = \theta \mid y_{1:t}, a_{0:t-1}\big)

它可以分解成「假说上的边缘分布」与「每个假说内部的条件分布」:

bt(o,θ)=p(ot=o∣y1:t,a0:t−1)⏟假说权重 wt(o)⋅p(θo=θ∣ot=o,y1:t,a0:t−1)⏟假说内参数后验b_t(o, \theta) = \underbrace{p(o_t = o \mid y_{1:t}, a_{0:t-1})}_{\text{假说权重 } w_t(o)} \cdot \underbrace{p(\theta_{o} = \theta \mid o_t = o, y_{1:t}, a_{0:t-1})}_{\text{假说内参数后验}}

这个分解看起来只是记号,但它决定了整套算法的结构:假说之间的竞争在权重 wt(o)w_t(o) 上发生,假说内部的估计在参数后验上发生,两者可以分别更新、分别近似、分别花费不同的算力。第三十七篇的信念是连续状态上的分布;这一篇的信念是「离散权重 × 一族连续分布」的混合,文献里常叫混合信念(hybrid belief)或结构化信念。

观测的三条通道与各自的口径

要让权重有意义,必须有能把假说区分开的观测量。机器人手上通常有三条通道,它们的噪声结构完全不同。

视觉给出外观与几何:颜色、纹理、尺寸、形状。它对「是什么」有很强的先验,但对质量、摩擦、内部结构几乎没有信息。而且它的误差是相关的——同一段视频的相邻帧给出几乎相同的外观判断,如果把它们当成独立证据重复计入,后验会过度自信。

本体感受给出力矩与电流:它们间接反映质量、质心、惯性与摩擦。它的信息量随动作变化:静止悬停时几乎只反映重力矩,快速摆动时才反映惯性。它的噪声是非高斯的(摩擦有死区、间隙有滞回),线性高斯模型会低估尾部。

触觉给出接触处的压力分布、接触面积、滑移:它对刚度、表面摩擦、接触几何最直接。但触觉的空间覆盖有限,接触一旦离开敏感区就没有读数。

三条通道的证据要进入同一个后验,必须处理三件事:各自的似然模型、通道之间的相关性、以及通道之间的矛盾。矛盾是常态而非异常:视觉说这是纸箱,力矩说这比纸箱重得多。正确的处理不是取平均,而是让矛盾推动假说集本身发生变化——这一点是后文「解释树」一节的核心。

为什么交互是辨识的前置条件:从 Gibson 实验说起

在建立数学形式之前,先把「不碰只看不够」这件事量化。Bohg、Hausman 等人在 2016 年提交、2017 年定稿的综述《Interactive Perception: Leveraging Action in Perception and Perception in Action》中引用了 Gibson 的实验:给被试一组长得相似的不规则物体,要求从中找出参照物体。只让被试静态观看时,辨认接近随机;允许他们触摸并翻转这些物体之后,几乎全部被试都能准确认出。

Gibson 实验中的一组不规则形状物体:仅静态观看难以辨认,触摸并翻转后几乎人人可认

上图就是那组物体。从这个实验可以读出三点与技术直接相关的结论。第一,外观观测的信息量在一个视角下是受限的——形状的三个维度里,静态图像只能展开两维,第三维(与支撑面的接触方式、背面轮廓)完全缺失;第二,转动带来的观测不仅增加了新的视角,还提供了刚体运动的一致性约束,即同一个点在不同视角下的对应关系,这本身就是辨识的证据;第三,动作不是「去看清楚」,而是「改变世界,让隐藏量暴露出来」。综述把这一类感知统称为交互式感知(Interactive Perception, IP),并把它的价值归纳为三条:动作能缓解遮挡、动作能揭示物体的动力学与物理属性、动作本身提供了额外的状态信息。

交互式感知的 taxonomy 值得单独讲一层,因为它决定后文「解释树」的形状。综述按「信号如何被利用」把方法分为两大类:一是常识性信号利用(Communality-based Signal, CNS),即从动作前后的传感器信号变化中推断状态,例如推动物体时观察分割掩码的变化来推断哪些像素属于同一个物体;二是动作-感知循环(Action-Perception Regime, APR),即用感知结果指导下一步动作、再用动作结果修正感知,形成一个闭环。前者适合「一次推动、一次推理」,后者适合「推一下、看看、再推、再确认」的主动辨识。这一篇讨论的物体假设信念属于 APR:它不满足于一次观测给出一个标签,而是维护一个分布,并决定下一次动作该测什么。

Zero-Shot IP 框架:视觉语言模型在动作-观测-记忆闭环里决定「推、抓、移相机」中的哪一步

上面这张图来自 2026 年的 Zero-shot Interactive Perception(ZS-IP)框架,它给出的是另一条组织方式:不维护显式的假说权重,而让一个带记忆的视觉语言模型在「移相机观察、推一下、抓一下、提起」之间选择动作,动作前后的观测被记入记忆块,再由模型判断是否已经足够回答查询。它的价值在于示范了动作空间本身是辨识工具的一部分:推一下能露出被遮挡的物体,移相机能换视角,提起能测重量。它的局限在于没有显式的假说分布,模型倾向于给出一个答案而不是一个「还缺什么证据」的清单。把两者看作同一问题的两端:显式信念适合需要严格推理与可审计账本的场合,VLM 闭环适合开放词汇、任务多样但精度要求宽松的场合。

三类证据通道的似然建模:把「像不像」写成概率

要让权重 wt(o)w_t(o) 动起来,必须写出每个假说对每条观测的似然。这一节逐个通道给出可计算的近似,并说明每个模型的偏差在哪里。

视觉通道:外观相似度与几何相似度分开算

视觉证据有两类:外观(颜色、纹理)与几何(尺寸、形状)。两类证据对假说的区分能力不同,噪声结构也不同,应当分开建模再合成。

外观证据通常用特征嵌入的余弦相似度建模。设观测图像的外观嵌入为 eye_y,假说 oo 的参考外观嵌入为 eoe_o,则外观似然可以写成软化的余弦:

papp(ey∣o)∝exp⁡ ⁣(κ⋅ey⊤eo∥ey∥∥eo∥)p_{\text{app}}(e_y \mid o) \propto \exp\!\left(\kappa \cdot \frac{e_y^{\top} e_o}{\|e_y\| \|e_o\|}\right)

κ\kappa 控制分布的尖锐度:κ\kappa 越大,外观判断越「自信」。κ\kappa 不能凭经验取大值,因为大值会让后验在少量外观证据上就坍缩到单一假说,后续力矩矛盾再想翻盘就很困难。一个实用的做法是让 κ\kappa 随外观特征在训练集上的类别内方差标定:类内方差大的特征,等效 κ\kappa 应更小。

几何证据用点云或深度图的倒角距离(Chamfer distance)或点到面的有符号距离建模。设观测点云为 YY,假说参考网格在姿态 ξ\xi 下的表面为 So(ξ)\mathcal{S}_o(\xi),则几何似然近似为

pgeo(Y∣o,ξ)∝exp⁡ ⁣(−12σg2∑y∈Yd(y,So(ξ))2)p_{\text{geo}}(Y \mid o, \xi) \propto \exp\!\left(-\frac{1}{2\sigma_g^2}\sum_{y \in Y} d\big(y, \mathcal{S}_o(\xi)\big)^2\right)

d(y,S)d(y, \mathcal{S}) 是点到表面的最小距离,σg\sigma_g 是几何观测噪声尺度。注意这里的姿态 ξ\xi 与假说 oo 是耦合的:同一个点云可能同时拟合两个假说的不同姿态,这正是第三十七篇所说「状态空间结构随离散量变化」的另一种形态。计算上,ξ\xi 不能穷举,通常先由上游位姿估计给出若干个候选姿态,再对每个假说取似然最大的姿态作为该假说的代表性证据。若要把几何证据延伸到材质与弹性,可以参考 MonoLite3D 这类把三维属性放在同一套轻量估计里的工作。这等价于对 ξ\xi 做最大化边缘化,代价是低估了姿态不确定性对假说判断的影响。

本体感受通道:用「预测力矩与实测力矩之差」做似然

本体感受证据的核心是动力学一致性。给定假说 oo 的参数(质量 mm、质心 c\mathbf{c}、惯性张量 I\mathbf{I}、摩擦参数)以及当前运动状态,可以计算理论关节力矩:

τ⋆=J⊤Fext+M(q)q¨+C(q,q˙)q˙+g(q)+ffric\tau^{\star} = \mathbf{J}^{\top} \mathbf{F}_{\text{ext}} + \mathbf{M}(\mathbf{q})\ddot{\mathbf{q}} + \mathbf{C}(\mathbf{q}, \dot{\mathbf{q}})\dot{\mathbf{q}} + \mathbf{g}(\mathbf{q}) + \mathbf{f}_{\text{fric}}

其中 Fext\mathbf{F}_{\text{ext}} 是由接触力与物体重力共同造成的末端外力,J\mathbf{J} 是末端雅可比,M\mathbf{M} 是惯量矩阵,C\mathbf{C} 是科氏与离心项,g\mathbf{g} 是重力项,ffric\mathbf{f}_{\text{fric}} 是关节摩擦。似然写成残差的鲁棒二次型:

pprop(τ∣o,s)∝exp⁡ ⁣(−12ρ(τ−τ⋆(o,s)))p_{\text{prop}}(\tau \mid o, s) \propto \exp\!\left(-\frac{1}{2}\rho\big(\tau - \tau^{\star}(o, s)\big)\right)

ρ\rho 是 Huber 型损失而不是纯平方差。原因在第三十七篇已经讲过:摩擦有死区和滞回,间隙会带来非线性,纯平方损失会让某几个大残差的关节主导整体似然,把小残差上真正有区分力的证据淹没。

本体感受证据的一个关键性质是信息量随动作变化。在准静态悬停时,Mq¨\mathbf{M}\ddot{\mathbf{q}} 与 Cq˙\mathbf{C}\dot{\mathbf{q}} 近乎为零,只剩下重力项与外力项,可辨识的是质量与质心的组合;在快速挥动时,惯性项才被激活,惯性张量才有信息量。这直接决定了主动辨识的动作设计:要测什么,就先制造能让那个量显形的运动。

触觉通道:接触几何与刚度

触觉证据最直接,但覆盖最局部。设触觉阵列在第 ii 个接触单元处给出压强 pip_i 与接触面积 AiA_i,假说 oo 在姿态 ξ\xi 下预测的该单元接触状态为 p^i(o,ξ)\hat{p}_i(o, \xi),则

ptac(p∣o,ξ)∝exp⁡ ⁣(−12σt2∑i∈Itouch(pi−p^i(o,ξ))2)p_{\text{tac}}(p \mid o, \xi) \propto \exp\!\left(-\frac{1}{2\sigma_t^2}\sum_{i \in \mathcal{I}_{\text{touch}}} \big(p_i - \hat{p}_i(o,\xi)\big)^2\right)

求和只在被触发的单元上做,而「哪些单元被触发」本身也是证据:一个预期软却触发面积很小、压强很大的接触,说明假说的刚度参数错了。若要把视觉与触觉的证据在同一个模型里联合,Visuo-Tactile based Predictive Cross Modal Perception 给出了一个可参考的跨模态预测结构。第三种证据,即第三十七篇讨论的负信息,这里同样适用:预期会接触却没有接触的位置,排除了若干假说,这一部分似然必须计入,否则后验会偏向「预测接触点更多的假说」。

通道合成:相关性与矛盾

三条通道联合起来,朴素做法是假设条件独立直接把似然相乘:

p(y∣o)=papppgeoppropptacp(y \mid o) = p_{\text{app}} p_{\text{geo}} p_{\text{prop}} p_{\text{tac}}

这个假设在工程上很诱人,因为每一项都能单独实现、单独调试,但它在两个地方系统性出错。

第一处是相关性。视觉的外观与几何来自同一个相机、同一段光照,误差高度相关。连续多帧的外观证据独立相乘,等于把一次判断重复计数了几十次,后验迅速饱和,任何后续矛盾都翻不动。一个折中的做法是用有效样本数:把 kk 帧外观证据压成权重 keff=1+(k−1)(1−ρapp)k_{\text{eff}} = 1 + (k-1)(1-\rho_{\text{app}}) 次独立观测,ρapp\rho_{\text{app}} 是相邻帧的相关性。这个式子在 ρ=1\rho=1 时退化为 1 次(完全相关不增加信息),在 ρ=0\rho=0 时等于 kk,介于两者之间线性插值,是常用的近似。

第二处是矛盾。当视觉强烈指向假说 AA、力矩强烈指向假说 BB 时,简单相乘会得到一个两个都不高的后验,然后归一化之后仍然是「最像的那个」,于是系统挑了一个既不符合外观也不符合力感的假说继续执行。更糟的是,如果假说集里根本没有「外观像 AA、质量像 BB」的那个假说(比如「内部有填充的纸箱」),后验会永远停在错误的位置。

正确的处理是让矛盾触发假说集的变化,这就是下一节「解释树」要做的事。矛盾的强度本身是可用的信号:定义各通道的边际似然比

BFprop/tac(A:B)=pprop(yprop∣A) ptac(ytac∣A)pprop(yprop∣B) ptac(ytac∣B)\mathrm{BF}_{\text{prop/tac}}(A: B) = \frac{p_{\text{prop}}(y_{\text{prop}} \mid A)\,p_{\text{tac}}(y_{\text{tac}} \mid A)}{p_{\text{prop}}(y_{\text{prop}} \mid B)\,p_{\text{tac}}(y_{\text{tac}} \mid B)}

若外观通道对 AA 的贝叶斯因子远大于 1,而本体-触觉通道对 BB 的贝叶斯因子也远大于 1,两者方向相反,就说明当前假说集不足以解释观测,应当加入新的组合假说。贝叶斯因子的解读尺度在 Kass 与 Raftery 的经典讨论中给出:1 到 3 为「几乎不值得提」,3 到 20 为「有一定证据」,20 到 150 为「很强」,超过 150 为「极强」。这组阈值可以直接作为「什么时候该长出新假说」的判据。

解释树:假说从哪里来,又该长成什么形状

假说不是标签,是「结构 + 参数」的组合

前一节把身份写成离散变量 oo,但没回答一个更基本的问题:oo 的取值集合从哪来。如果把它当成分类器的标签集,就回到了「类别外」的老问题。更有用的表示是把假说写成一个二元组:

o=(σo, πo)o = \big(\sigma_o,\ \pi_o\big)

σo\sigma_o 是结构(这个物体由几个刚体部件组成、是否有内部自由液体、是否可变形、是否有盖),πo\pi_o 是参数块(质量、质心、惯性、摩擦、刚度)。结构决定参数块的维数与含义,参数块决定结构的具体数值。一个「空纸箱」和一个「装了半箱水的纸箱」结构不同(后者多了液面高度与晃动模态),参数空间维数不同;一个「厚瓦楞纸箱」与「薄瓦楞纸箱」结构相同,只是刚度参数不同。

这个分法带来一个重要的操作优势:结构层面的假说是有限的、可枚举的;参数层面的假说是连续的、可优化的。解释树把两者的推理分开——树的节点承担结构枚举,节点内部的后验承担参数估计。前者是组合问题,后者是滤波问题,二者的算法与成本模型完全不同。

四种假说来源

解释树的节点有四个来源,按信息量从高到低排列。

第一种是先验库直接实例化。手上有一批已知物体的模型(网格、SDF、质量区间),每个模型在观测约束下可以实例化出若干姿态假设。这是最廉价的一类,因为参数已经标定好,只需要估计位姿。Zheng 等人在 2024 年提交的主动触觉辨识工作里,正是以十个已知物体的有符号距离场(SDF)作为先验库,把类别与六自由度位姿拼成一个隐变量 z=[c,p]\mathbf{z} = [c, \mathbf{p}],用粒子滤波维护它们的联合后验。

第二种是观测触发的局部特征匹配。这类方法不从先验库穷举,而是从当前观测里抽出特征对,反查哪些先验模型的哪些局部也能产生同样的特征对,再由对齐解出候选位姿。Zheng 等人用的是点对特征(point-pair feature):对任意两个接触点 xi,xj\mathbf{x}_i, \mathbf{x}_j 及其法向 ni,nj\mathbf{n}_i, \mathbf{n}_j,构造四个量

(∥xj−xi∥2, ∠(ni,nj), ∠(ni,xij), ∠(nj,xij))\big(\|\mathbf{x}_j - \mathbf{x}_i\|_2,\ \angle(\mathbf{n}_i, \mathbf{n}_j),\ \angle(\mathbf{n}_i, \mathbf{x}_{ij}),\ \angle(\mathbf{n}_j, \mathbf{x}_{ij})\big)

这四个量在平移与旋转下不变,因此可以作为哈希键。离线阶段对每个已知模型用泊松盘采样取 200 个特征点,得到 200×199=39800200 \times 199 = 39800 个有序点对,把它们的不变特征离散化(距离保留一位小数、角度取 12 度倍数)后存入哈希表;在线阶段每采到一个新接触点,就把它与历史接触点配对、算特征、查表,取出相似点对,再做点对对齐解出「类别 + 位姿」的候选。这一套流程把粒子滤波的采样从「在六维位姿空间里盲撒」变成「只在观测支持的流形附近撒」,是该工作能把粒子数控制在几千量级的关键。

点对特征采样:由观测点对的平移旋转不变特征反查已知模型的相似点对,再对齐生成类别与位姿假设

上图是这个采样过程的示意。左侧是一个观测点对,中间是「在已知模型上找相似点对」的查表,右侧是三组对齐结果——三个不同类别 cs,ce,crc_s, c_e, c_r(方形、椭圆、矩形)各自被解出一个候选位姿。注意右侧的要点:同一次观测可以同时支持多个类别,每个类别都给出一个说得通的位姿,这正是「假说是分布而非标签」的图示。传统分类器在这里会输出一个类别,而解释树保留全部三个分支,让后续证据决定去留。

第三种是组合扩展。当先验库里没有任何模型能解释观测时,从一个已知模型出发,沿结构维度做局部改造:把「纸箱」改成「纸箱 + 内部填充」,把「刚性盒」改成「刚性盒 + 内部自由质量」,把「单一刚体」改成「两部件铰接」。组合扩展的候选数量必须受控,做法是只沿「当前证据指向的矛盾维度」扩展,而不是全组合枚举。视觉说外观像纸箱而力矩说偏重,就只扩展质量相关的结构(填充、双层壁、内容物),不去扩展形状。

第四种是矛盾触发的必然扩展。当所有现有假说的边际似然都低于一个绝对下限时,说明观测落在当前解释空间之外,此时必须新建一个「未知结构」节点,并让它的参数由数据驱动地拟合。Zheng 等人的做法是用 MAP 模型证据判据:设 z⋆\mathbf{z}^{\star} 为后验最大点,若

p(D∣z⋆,X)<1Z(0.9)npos(0.5)nnegp(\mathbf{D} \mid \mathbf{z}^{\star}, \mathbf{X}) < \frac{1}{Z}(0.9)^{n_{pos}}(0.5)^{n_{neg}}

则判为「新物体」,其中 nposn_{pos} 是接触点数量、nnegn_{neg} 是非接触点数量、ZZ 是观测似然的归一化常数。这个判据的含义很直观:接触点的平均似然不得低于精确接触最大值的 90%,非接触点不得低于 50%(即不能穿模)。不满足就说明「没有任何已知形状能同时解释接触处贴合与非接触处不穿透」,于是开一个新节点,用高斯过程隐表面(GPIS)重建形状(零水平集的网格化通常用 marching cubes 实现),并把重建结果作为新的先验加入库中。该工作报告,把学到的椅子形状加入先验后,同一物体的探索步数从 200 步以上降到平均 68 步。

树的层级与展开策略

解释树不是二叉树,每个节点的子节点数由结构维度决定,通常 3 到 10。合理的层级是三层:

  • 第一层是粗结构:刚体 / 可变形 / 多部件 / 含内部自由度;
  • 第二层是结构变体:在粗结构下细分,例如「含内部自由度」下分「液体」「颗粒」「可动配重」;对铰接类物体,这一层还要记录关节类型与自由度,Ditto in the House 一类的交互式感知工作演示了如何通过推动与拉扯直接从场景里估计这类铰接模型;
  • 第三层是参数族:结构确定后,参数块的后验用一个参数化分布(高斯、混合高斯或粒子集)表示。

层数不能无限加深,原因是每加深一层,节点数按分支因子指数增长,而每一层能带来的似然区分度是递减的。工程上的经验规则是:只有当父节点的后验权重超过阈值、且父节点内部的参数后验仍然无法解释观测时,才展开子节点。这叫延迟展开(lazy expansion),它把「先枚举后筛选」换成「按需展开」,是让解释树在实时预算内可用的关键。

延迟展开的代价是可能错过「父节点权重低但子节点权重高」的情况。举例:一个「纸箱」父节点的权重因为质量不符而降到 0.1,但它的子节点「纸箱 + 内部填充」本可以解释质量。若不展开,这个正确解释永远不会出现。修正办法是给每个父节点维护一个「展开价值」下界:用父节点参数后验的尾部质量估计「若允许参数超出当前范围,似然能提升多少」。当这个下界超过展开成本时,强制展开一次。这个下界不需要精确,只需要单调可比。

解释树与分类器的本质差别

把解释树和分类器放在一起比较,差别可以归成四条。

第一,输出不同。分类器输出一个标签与一个置信度;解释树输出一组带权重的解释,每个解释自带参数后验。前者无法表达「两种解释都说得通但参数不同」,后者可以。

第二,粒度可变。分类器的粒度在训练时固定;解释树的粒度可以按证据增加而加深,也可以按预算减少而合并。

第三,可扩展。分类器遇到类别外只能给一个最近的标签;解释树可以新建节点,并把新节点学到的形状转成先验(这正是上一段引用的增量学习结果)。

第四,可审计。解释树的每个节点都保留「它为什么被保留」的证据计数,出问题的时候可以回溯是哪条通道在什么时候把权重推上去的;分类器只有一个 softmax 输出,无法回溯。

竞争:似然如何改写权重,以及「解释掉」为什么重要

权重更新的规范形式

设时刻 tt 的观测为 yty_t(可以包含多条通道),假说 oo 的权重按贝叶斯规则更新:

wt(o)=p(yt∣o) wt−1(o)∑o′∈Op(yt∣o′) wt−1(o′)w_t(o) = \frac{p(y_t \mid o)\, w_{t-1}(o)}{\sum_{o' \in \mathcal{O}} p(y_t \mid o')\, w_{t-1}(o')}

其中 p(yt∣o)p(y_t \mid o) 是假说 oo 下的边际似然,需要对参数后验积分:

p(yt∣o)=∫p(yt∣o,θ) p(θ∣o,y1:t−1) dθp(y_t \mid o) = \int p(y_t \mid o, \theta)\, p(\theta \mid o, y_{1:t-1})\, d\theta

这个积分是整套方法里最容易被偷懒的地方。常见做法是用参数后验的均值 θ^\hat\theta 代入,得到 p(yt∣o,θ^)p(y_t \mid o, \hat\theta)。它在参数后验窄的时候没问题,在参数后验宽的时候会系统性高估似然——因为均值处的似然通常高于分布上的平均似然(似然函数在参数空间上往往是尖峰)。高估的后果是「宽后验的假说被过度奖励」,也就是越不确定的假说越容易胜出。修正办法是用拉普拉斯近似把积分算成「峰值似然 × 后验体积因子」:

p(yt∣o)≈p(yt∣o,θ^o) (2π)do/2det⁡Σoprior volumep(y_t \mid o) \approx p(y_t \mid o, \hat\theta_o)\, \frac{(2\pi)^{d_o/2} \sqrt{\det \Sigma_o}}{\text{prior volume}}

dod_o 是该假说的参数维数,Σo\Sigma_o 是参数后验协方差。这个因子就是贝叶斯模型比较里的「奥卡姆因子」:参数维数高、后验宽的假说自动被惩罚。Zheng 等人的 MAP 模型证据判据,本质上就是这个思想的一个硬阈值版本。

解释掉:矛盾不是减分,是换解释

「解释掉」(explaining away)是贝叶斯网络里最容易被忽略的现象,但它恰恰是物体辨识的核心机制。举例说明。

假设初始只有两个假说:AA =「空纸箱」,BB =「实心木块」,先验各 0.5。视觉给出外观强烈支持 AA,外观似然比 BFapp(A:B)=100\mathrm{BF}_{\text{app}}(A:B) = 100,于是 w(A)≈0.99w(A) \approx 0.99。接着做一次提拉,力矩显示质量约为 3 千克,而空纸箱的预期是 0.4 千克、木块是 2.8 千克,本体感受的似然比 BFprop(B:A)=50\mathrm{BF}_{\text{prop}}(B:A) = 50。联合更新后

w(A)=0.99×10.99×1+0.01×50≈0.66w(A) = \frac{0.99 \times 1}{0.99 \times 1 + 0.01 \times 50} \approx 0.66

权重从 0.99 掉到 0.66,但没有掉到接近 0,因为外观证据太强。系统此时的判断是「大概率还是纸箱,但很可疑」。这个状态在工程上是危险的:它既不足以支持按空纸箱规划(抓取力、加速度都会按轻物体设),也不足以触发重新辨识。

真正的解法不是继续调整 AA 与 BB 的权重,而是引入第三个假说 CC =「纸箱 + 内部填充物」。CC 同时满足外观(箱体外观与 AA 一致)与质量(填充后 3 千克)。一旦 CC 进入假说集,后验变成

w(C)∝papp(y∣C) pprop(y∣C)≈1×1,w(A)≈1×ϵ,w(B)≈ϵ×1w(C) \propto p_{\text{app}}(y \mid C)\, p_{\text{prop}}(y \mid C) \approx 1 \times 1, \quad w(A) \approx 1 \times \epsilon, \quad w(B) \approx \epsilon \times 1

也就是说,AA 与 BB 不是被「平均掉」,而是被 CC 解释掉了:它们各自只能解释一半证据,而 CC 能解释全部。这就是为什么假说集必须能生长——在没有 CC 的空间里做再多的权重更新,得到的都只是一个妥协值。

这个例子还揭示了「解释掉」对动作选择的影响。在 w(A)=0.66w(A)=0.66 的状态下,最优动作不是继续猜,而是做一个能区分 AA 与 CC 的探针:轻捏箱壁。空箱壁的刚度低、可压缩量大;有填充的箱壁几乎不可压缩。一次捏合就能把两者的似然拉开一个数量级。这引出后面的主动辨识一节。

通道主导与证据重复计数

权重更新最常见的工程故障是「某条通道主导」。三种典型形态。

第一种是外观主导:视觉模型在训练集上准确率高,κ\kappa 被设得很大,导致外观似然比动辄上百,其它通道再强也翻不动。这在「外观相似、物理属性不同」的任务里是致命的,因为任务恰恰需要物理属性。缓解办法是给每条通道一个温度系数,按任务对「外观可信度」的先验做校准,而不是按视觉模型在 ImageNet 上的准确率设。

第二种是本体感受主导:力矩残差被当成高斯,方差设得很小,于是任何微小差异都被放大成强证据。实际力矩残差有厚尾,摩擦与间隙会造成偶发的几十倍残差。用 Huber 损失能把厚尾压住,但 Huber 的阈值需要按关节分别标定——不同关节的摩擦特性差别很大。

第三种是证据重复计数:同一段视频的连续帧、同一次接触的多个触觉单元、同一次提拉的多个时间采样,都被当成独立观测。重复计数的后果是后验过早饱和。处理办法前面提过:用有效样本数折算;触觉单元之间用空间相关性折算;时间采样之间用自相关时间折算。折算系数不需要精确,只要量级对,就能避免「十帧外观把后验锁死」这类问题。

一个可算的数值例子

为了让「权重怎么动」有手感,构造一个三假说、两通道的最小例子。假说:AA 空纸箱(质量 0.4 kg,刚度 20 N/mm)、BB 实心木块(2.8 kg,刚度 500 N/mm)、CC 填充纸箱(3.0 kg,刚度 400 N/mm)。先验各 1/31/3。

第一步,外观观测:外观与纸箱一致,对 AA 与 CC 的似然相同,对 BB 的似然为前者的 1/10001/1000。归一化后 w=(0.4995,0.0005,0.4995)w = (0.4995, 0.0005, 0.4995)。

第二步,提拉力矩:质量观测 2.9 kg,噪声 σ=0.3\sigma = 0.3 kg。三个假说下的似然分别为 exp⁡(−(2.9−0.4)2/0.18)≈e−34.7\exp(-(2.9-0.4)^2/0.18) \approx e^{-34.7}、exp⁡(−(2.9−2.8)2/0.18)≈0.946\exp(-(2.9-2.8)^2/0.18) \approx 0.946、exp⁡(−(2.9−3.0)2/0.18)≈0.946\exp(-(2.9-3.0)^2/0.18) \approx 0.946。更新后 w≈(5×10−16,0.5,0.5)w \approx (5\times10^{-16}, 0.5, 0.5)——空纸箱被彻底排除。

第三步,捏合:刚度观测 420 N/mm,噪声 σ=120\sigma = 120。AA 已被排除;BB 的似然 exp⁡(−(420−500)2/(2⋅1202))≈0.80\exp(-(420-500)^2/(2\cdot120^2)) \approx 0.80,CC 的似然 exp⁡(−(420−400)2/(2⋅1202))≈0.986\exp(-(420-400)^2/(2\cdot120^2)) \approx 0.986。更新后 w≈(0,0.448,0.552)w \approx (0, 0.448, 0.552)。一次捏合只把 BB 与 CC 拉开 0.1 的权重差,不够。

第四步,再捏一次、并加大力度到 800 N/mm:BB 与 CC 的似然比变成 exp⁡(−(800−500)2/28800)/exp⁡(−(800−400)2/28800)=e−3.125/e−5.556≈11.3\exp(-(800-500)^2/28800) / \exp(-(800-400)^2/28800) = e^{-3.125}/e^{-5.556} \approx 11.3。两次观测累乘后 w(C)≈0.93w(C) \approx 0.93。此时可以按「填充纸箱」规划抓取力。

这个例子的三个结论值得记住。第一,单次观测的区分力有限,尤其当两个假说的参数接近时;第二,动作的幅度直接决定似然比,捏得越深区分力越强,但捏得太深可能损坏物体——这就是收益与代价的权衡;第三,假说集里如果没有 CC,前三步的更新会停在 w(A)w(A) 与 w(B)w(B) 之间,系统会一直不确定。第三点再次说明:权重更新只能在一个给定假说集内做选择,真正的进步来自假说集本身的扩展。

合并与分裂:两种解释何时算同一个

为什么要讨论等价性

权重更新默认假说之间互不相同。但解释树会生长,生长出来的节点可能和已有节点说的是同一件事:同一辆杯子在「类别 = 陶瓷杯、姿态 = 侧放」和「类别 = 马克杯、姿态 = 侧放」两个分支下,参数块几乎完全一致,继续保留两个分支只会让权重被摊薄,并让「加一次新观测」的成本翻倍。反过来,两个分支可能看起来相同但实际不同:同样是「杯子」,一个带把手、一个不带,形状相似但抓取点完全不同,合并了就丢了关键区别。

所以需要一个可计算的等价性判据,且这个判据要能同时考虑结构、参数、以及「下游规划是否需要区分它们」三件事。

与多假说跟踪的血缘

在进入判据之前,值得指出这条路线在目标跟踪领域已经存在了几十年。多假说跟踪(Multiple Hypothesis Tracking, MHT)维护的是一组带权重的航迹假设,每条航迹对应「哪些观测属于同一个目标、目标如何运动」,新观测到来时对假设做扩展、打分、剪枝。它的核心操作与本篇几乎一一对应:假设生成(观测与已有航迹的关联)、似然打分、剪枝(低分假设删除)、合并(相似航迹合并)。随机多模型多假说跟踪(Randomized Multiple Model MHT)把运动模式也纳入假设空间,相当于在航迹假设内部再加一层模式权重,这正是本篇「假说权重 × 参数后验」的两层结构。

差别在于对象与动作。MHT 的对象是点目标,观测是位置量测,机器人不需要对目标做任何动作;本篇的对象是可操作的物体,观测由机器人自己的动作制造,动作本身带代价与风险。这带来两个方法上的差异:一是观测的「产生机制」受机器人控制,因此可以主动设计观测而不仅在被动观测上推理;二是假设的物理含义更深(质量、刚度、摩擦),参数的先验与约束必须来自物理可行性,而不能只靠运动学平滑。把 MHT 的成熟工程经验(门限关联、假设剪枝的计分、航迹起始与终止)搬过来,能省掉大量重复踩坑。

结构等价:先看参数空间是否可对齐

两个假说的结构等价,首先是参数空间可对齐:存在一个双射,把 o1o_1 的参数向量映射到 o2o_2 的参数向量,且映射保持物理含义。例如「厚瓦楞纸箱」与「薄瓦楞纸箱」的映射是恒等映射(同一个参数块,只是取值范围不同);「杯子(带把手)」与「杯子(不带把手)」的映射不存在,因为前者多了一个把手位姿参数块。参数空间不能对齐的,结构就不等价,不能合并。

对齐之后,再看结构描述本身是否相同。把结构写成一个有类型的树(刚体部件、关节、内部自由度、可变形场),结构等价就是树同构。树同构是多项式可判的(例如 AHU 算法),但节点带属性时要用属性约束的同构检测,实际实现里通常用一个规范化的结构签名(每个节点的类型、子节点数目、属性类型按固定顺序拼接再哈希)来做近似判据。签名相同才进入后续的数值检验。

参数等价:用分布距离而非点距离

结构对齐后,参数后验可能是两个不同的分布。用均值距离判断是不够的:两个分布均值相同但方差不同,对规划的影响完全不同(方差大的那个意味着「还需要探测」)。正确的做法是计算两个参数后验之间的分布距离,常用三种。

第一种是 KL 散度,但它不对称,且对支持集不重叠的分布会发散。第二种是 Wasserstein 距离,对称且有良好的几何意义,但对高维分布的计算代价高。第三种是 Bhattacharyya 系数:

BC(p1,p2)=∫p1(θ) p2(θ) dθ\mathrm{BC}(p_1, p_2) = \int \sqrt{p_1(\theta)\, p_2(\theta)}\, d\theta

两个高斯之间的 Bhattacharyya 系数有闭式:

BC=2det⁡Σ1det⁡Σ2det⁡(Σ1+Σ2)exp⁡ ⁣(−18(μ1−μ2)⊤(Σ1+Σ22)−1(μ1−μ2))\mathrm{BC} = \sqrt{\frac{2\sqrt{\det \Sigma_1 \det \Sigma_2}}{\det(\Sigma_1 + \Sigma_2)}} \exp\!\left(-\frac{1}{8}(\mu_1 - \mu_2)^{\top}\Big(\frac{\Sigma_1 + \Sigma_2}{2}\Big)^{-1}(\mu_1 - \mu_2)\right)

BC=1\mathrm{BC} = 1 表示两个分布完全相同,BC=0\mathrm{BC} = 0 表示完全不重叠。它的几何平均值结构对「大方差 vs 小方差」比较稳健:均值稍有偏差但方差覆盖时,系数仍然接近 1。工程上通常以 BC>0.7\mathrm{BC} > 0.7 作为「可以合并」的初筛阈值。

规划等价:下游是否需要区分

这是最容易被忽略,却最重要的一层。两个假说在参数后验上非常接近,但如果下游规划对它们的响应完全不同,就不该合并。例如「5 牛顿抓取力即可抓稳」与「需要 25 牛顿才能抓稳」两个假说,参数(摩擦系数)只差一点,但在抓取规划里一个意味着轻捏、一个意味着重捏,重捏可能压坏易碎品。合并之后如果后验均值落在中间,规划会选一个两边都不安全的力。

判据可以用「下游代价函数在两个假说下的差异」来量化。抓取生成本身也面临同类问题:FFHFlow 用流变分推断生成多样化的抓取,并把抓取质量的不确定性显式建模,说明「保留多个候选、按不确定性加权」在下游抓取环节已经是必要设计,而不是只在上游辨识里成立。设规划代价函数为 J(a;o)J(a; o)(动作 aa 在假说 oo 下的期望代价),两个假说的规划等价当且仅当

max⁡a∣J(a;o1)−J(a;o2)∣<δ\max_{a} \big|J(a; o_1) - J(a; o_2)\big| < \delta

δ\delta 是允许的规划偏差。这个量不需要精确求解,采样若干个候选动作、在假说的参数后验上蒙特卡洛估计即可。若差超过 δ\delta,即便 Bhattacharyya 系数很高,也不合并,而是保留为「行为上等价性未确认」的一对节点,并在下一步的探测里专门选一个能区分它们的动作。

三层判据的优先级是:结构不可对齐就绝不合并;结构可对齐但规划不等价就保留;两者都通过再看参数分布距离。

合并的算子

合并不是简单加权平均。正确的合并有三步。

第一步,把两个假说的参数后验按各自的权重做混合:

pmerged(θ)=w1p1(θ)+w2p2(θ)w1+w2p_{\text{merged}}(\theta) = \frac{w_1 p_1(\theta) + w_2 p_2(\theta)}{w_1 + w_2}

这个混合分布通常是双峰的,不能用一个高斯表示。若后续要参数化表示,需要用混合高斯拟合(成分数不超过原来两分布的支撑重叠区域的数量)。用单高斯拟合双峰,会得到一个在中间、两边都不对的后验,这是合并最常犯的错误。

第二步,重新计算合并节点对全部历史证据的边际似然,而不是把两个子节点的权重直接相加。原因在于:合并后的节点代表一个更宽的参数空间,它对旧证据的似然可能低于任何一个子节点,因为旧证据可能强烈指向子节点之一。这一步相当于用合并后的节点重放一次历史,得到它在历史证据下的「应得权重」。重放的成本与历史长度线性,所以合并之后要更新权重缓存。

第三步,更新证据计数。第三十七篇讨论过,证据计数(累积对数似然)比重采样不归零,是跨周期区分「暂时不吻合」与「根本不可能」的稳判据。合并时两个节点的证据计数不能相加,因为它们统计的是不同参数解释下的证据;正确做法是用重放的结果重新给合并节点生成一份计数。

什么时候分裂

分裂的动机有两种。

第一种是参数后验本身变成多峰,且峰之间的距离超过了规划等价阈值。例如「刚性盒子」假说的质量参数后验在 0.5 千克与 3 千克各有一个峰,对应两种内部状态。此时应当分裂成两个节点,各自收窄参数范围,再分别做后续更新。

第二种是观测变化,原来的解释被推翻而新解释不在假说集里。这在任务里经常表现为「提起之后质量分布变了」:抓取前按外观判为「薄壁空箱」,提起后发现质心明显偏在一侧,说明箱内并非均匀空,需要分裂出「内部配重偏置」的节点。

分裂的判据可以用后验的多峰性检测:对参数后验做核密度估计或高斯混合拟合,若若干成分间隔足够远且各自的权重都不低于阈值,就分裂。分裂之后,每个新节点的先验权重按原分峰的权重分配,并在下一步优先选择能区分这些峰的探针。

主动辨识:选哪个探针,测到什么程度为止

一个统一的探针收益公式

第三十七篇的探测决策用的是「期望代价下降超过探测成本」,这一篇把它具体到物体辨识。设当前假说权重为 ww,候选探针动作 aa 会产生观测 yay_a,定义探针的期望信息增益为各假说之间权重的期望熵减。这个量在实验设计理论里就是 Lindley 1956 年提出的信息量(expected information),当时用来衡量「做一次实验平均能提供多少关于未知参数的比特」:

I(a)=Eya[H(w)−H(w∣ya)]I(a) = \mathbb{E}_{y_a}\Big[H\big(w\big) - H\big(w \mid y_a\big)\Big]

其中 H(w)=−∑ow(o)log⁡w(o)H(w) = -\sum_o w(o) \log w(o) 是假说权重的熵,w∣yaw \mid y_a 是按观测更新后的权重。直观含义是:这个探针平均能消掉多少「不知道是哪一种」的不确定性。

期望对 yay_a 取。实际计算里 yay_a 未知,只能对每个假说下的预测观测分布采样,做蒙特卡洛近似:

I(a)≈∑ow(o) Eya∼p(⋅∣o,a)[H(w)−H(w(ya))]I(a) \approx \sum_{o} w(o)\, \mathbb{E}_{y_a \sim p(\cdot \mid o, a)} \Big[H(w) - H\big(w^{(y_a)}\big)\Big]

若只看两个假说 o1,o2o_1, o_2 之间的区分,期望熵减可以近似成它们权重的「可分程度」的期望,常用的简化是使用两假说的对数似然比的期望绝对值,即 KL 距离的对称版本:

I12(a)≈12(Eo1[DKL]+Eo2[DKL]),DKL=E[log⁡p(y∣o1,a)p(y∣o2,a)]I_{12}(a) \approx \frac{1}{2}\Big(\mathbb{E}_{o_1}[D_{\text{KL}}] + \mathbb{E}_{o_2}[D_{\text{KL}}]\Big),\quad D_{\text{KL}} = \mathbb{E}\Big[\log \frac{p(y \mid o_1, a)}{p(y \mid o_2, a)}\Big]

这个近似的好处是每条通道的 DKLD_{\text{KL}} 常常有闭式(高斯之间、多项分布之间的 KL 都有),不必逐次采样。

探针的代价模型

信息增益只是一半,另一半是代价。代价至少有三项。

第一项是时间。探针需要动作轨迹,动作越长,占用的任务时间越多。这个代价容易估:用当前动作规划器给出耗时即可。

第二项是风险。探针可能损坏物体或破坏场景。捏合探针的风险来自「超出物体的破坏阈值」,提拉探针的风险来自「超过夹具的抓取力上限」,推动探针的风险来自「撞倒邻近物体」。风险代价不能用固定常数,要用当前假说下「发生不可接受事件」的概率乘以事件的损失。这需要每个假说携带一个「安全包络」参数,例如可承受的最大压强、最大加速度。

第三项是机会成本。探针占用的动作可能本来可以用来推进任务。在任务时间紧张时,应当把探针嵌入任务的正常工作流程里,而不是单独做一个「测量动作」。例如抓取之前自然要闭合夹爪,闭合的同时记录箱壁的压缩量,这就是一个零机会成本的探针;而专门把机器人抬起来晃一晃测惯性张量,机会成本很高。

综合起来,探针的净收益是

U(a)=λinfoI(a)−λtT(a)−λrR(a)−λoO(a)U(a) = \lambda_{\text{info}} I(a) - \lambda_{t} T(a) - \lambda_{r} R(a) - \lambda_{o} O(a)

四个 λ\lambda 是权重,由任务的紧迫性与风险偏好决定。λinfo\lambda_{\text{info}} 的标定有个常用办法:把它与「一次错误决策的期望代价」关联起来。如果选错假说会导致后续任务平均多花 CerrC_{\text{err}} 的代价,那么一个能把错误概率降低 Δp\Delta p 的探针,价值约为 Δp⋅Cerr\Delta p \cdot C_{\text{err}}。用这个关系反推 λinfo\lambda_{\text{info}},比拍脑袋设常数稳。

探针库:与信息量对应的动作原型

探针不是任意动作,而是有限的动作原型,每个原型擅长测一种量。整理成表格如下。

探针原型主要测的量激活的通道主要风险适用辨析场景
静态悬停并读取力矩质量与质心的组合本体感受(重力项)几乎为零区分「空箱」与「有内容物」
快速小幅摆动惯性张量、质心的偏置本体感受(惯性项)碰撞邻近物体区分「内部均匀」与「内部偏置」
指尖捏合表面刚度、可压缩量触觉 + 本体感受压坏易碎品区分「空箱壁」与「填充箱壁」
表面滑动摩擦系数触觉(滑移检测)划伤表面区分「光滑外包装」与「粗糙表面」
提起并微颤抓取稳定性、质量触觉 + 本体感受掉落区分「刚体」与「内部可动」
翻转或绕轴旋转三维形状、质量分布视觉 + 本体感受翻倒邻近物体区分外观相近的不同形状
按一下并测回弹弹性、阻尼触觉 + 本体感受压坏区分「硬壳」与「软包」
换视角观察遮挡后的外观与几何视觉几乎为零区分「同外观不同尺寸」

这张表要读三遍。第一遍看「主要测的量」这一列,它告诉你每个探针的信息来源,没有这一列的探针是在盲探;第二遍看「主要风险」一列,它决定了探针能否在安全约束内执行;第三遍看最后一列,它告诉你当前任务里最值得用哪个探针——通常最值得用的,是能区分「当前权重最高的两个假说」的那个。

停止条件的三个层次

探针不能无限做下去。停止条件分三个层次,从严格到宽松。

最严格的是任务可用性停止:当最高权重假说的后验足够集中,且该假说下的任务规划代价与「真实假说已知时」的代价之差低于阈值,就停止辨识,转入执行。判据写成

max⁡top 2∣J(a⋆(o1);o2)−J(a⋆(o2);o2)∣<δtask\max_{\text{top } 2} \big|J(a^{\star}(o_1); o_2) - J(a^{\star}(o_2); o_2)\big| < \delta_{\text{task}}

即「按假说 o1o_1 选出的动作,在假说 o2o_2 下执行,代价与按 o2o_2 选动作相差多少」。这个判据比单纯的权重阈值更实用,因为它回答的是「模糊到底妨不妨碍干活」。

中间层次是信息价值停止:当下一个探针的净收益 U(a)U(a) 为负,或者它与历史探针的信息增益高度重叠(即这些探针在测同一个量,边际信息递减),就停止。后一种情况要求记录已做过哪些探针、各自的激活通道,若新探针只激活已有通道且参数范围相近,其边际增益会很低。

最宽松的是预算停止:设置最大探针数与最大耗时,到点强制转为执行,并附带「不确定性标记」,让下游规划器知道当前的假说分布。这个降级方案在时间紧迫的场景里必须存在,否则系统会一直「再测一下」。

三个层次的关系是:预算停止保底,信息价值停止是常态退出,任务可用性停止是理想退出。工程实现里通常按优先级检查:先看任务可用性(可能早就可以停了),再看信息价值(可能测不出更多了),最后看预算(防止拖死)。

探针之外:改变传感器配置

和第三十七篇一样,这里还有一条更根本的路:改变传感器,让原本要探测的量变成可直接观测的量。对于物体辨识,最典型的两条是给夹爪加触觉阵列(直接测刚度与摩擦,省掉捏合探针)和加腕部力矩传感器(直接测质量与惯性,省掉摆动探针)。第三十七篇讨论的可观性秩条件同样适用:某些量在现有传感器下是零空间方向,任何探针都测不出来,只能补传感器。

这一节的结论可以作为一篇的独立论点:主动辨识的收益上限由「探针库 × 传感器配置」共同决定,只优化探针选择而不考虑传感器升级,会在某一次任务里撞上天花板。

世界模型侧:解释树如何进入预测与规划

为什么世界模型需要一个「解释入口」

前面的内容都在讲怎么确定「是什么」。但世界模型的价值在于「按确定的东西预测」。如果解释树只交给预测模块一个 MAP 假说,前面所有的分布维护就都浪费了:预测会按一个解释走,一旦这个解释错了,预测误差在闭环里被放大(见 (十九):误差走进闭环)。正确的接口是交一整棵带权重的解释,由预测模块按权重做期望预测。

设世界模型在假说 oo 下给出下一状态预测 p(st+1∣st,at,o)p(s_{t+1} \mid s_t, a_t, o),则混合预测为

p(st+1∣st,at)=∑o∈Owt(o) p(st+1∣st,at,o)p(s_{t+1} \mid s_t, a_t) = \sum_{o \in \mathcal{O}} w_t(o)\, p(s_{t+1} \mid s_t, a_t, o)

这个混合预测是规划器直接可用的:它的均值是多假说的加权平均,它的方差自然地包含了「假说不确定」这一部分。规划器对高方差的状态会施加保守处理,这正是我们想要的。

解释树与潜空间预测的结合

第二、三篇讲的潜空间世界模型(RSSM、JEPA 类)预测的是潜表征,不是物理量。把解释树接进去有两种方式。

第一种是给每个假说配一个条件编码。把假说结构签名 σo\sigma_o 编码成向量 zoz_o,与潜状态拼接后送入动力学网络。好处是不需要为每个假说单独训练网络,坏处是网络可能学不出不同假说之间的结构性差异,尤其在假说数量少、训练数据分布窄的情况下。

第二种是给每个结构类型配一个动力学头。同一结构类型内的不同参数(同一结构、不同质量)共享一个头,但以参数为条件输入;不同结构类型用不同的头。好处是结构性差异被显式分离,坏处是头的数量随结构类型增长,新结构加入时需要新头,不能立即工作。

第三种是混合:常见结构用专用头,稀有结构用条件编码退化处理。这是实际系统里最常见的折中。

不确定性如何穿过解释树

第三十篇讨论了两类不确定性:偶然(观测噪声固有的随机性)与认知(模型或参数不知道的那部分)。解释树恰好提供了一个干净的分解:假说权重的不确定性是认知不确定性的一种,参数后验宽度是另一种认知不确定性,假说内的预测噪声是偶然不确定性。三者可以分别估计、分别记账:

Var[s^t+1]=∑owt(o)(Σoaleatoric+Σoparam)⏟假说内+∑owt(o)∥μo−μˉ∥2⏟假说间\mathrm{Var}[\hat s_{t+1}] = \underbrace{\sum_o w_t(o)\Big(\Sigma_{o}^{\text{aleatoric}} + \Sigma_{o}^{\text{param}}\Big)}_{\text{假说内}} + \underbrace{\sum_o w_t(o)\|\mu_o - \bar\mu\|^2}_{\text{假说间}}

Σoaleatoric\Sigma_{o}^{\text{aleatoric}} 是假说 oo 下预测的偶然方差,Σoparam\Sigma_{o}^{\text{param}} 是参数后验造成的方差,最后一项是各假说预测均值与混合均值的离差平方和,也就是「假说间分歧」。这三项可以直接驱动后续行为:假说间项大,说明该去探测;假说内参数项大,说明该去测参数;偶然项大,说明该用滤波或降低规划置信度。

预算:解释树要花多少算力

解释树的运行成本可以写成四项之和:节点数(结构枚举与权重更新)、每节点的参数粒子数(参数滤波)、每节点的预测网络调用次数(混合预测)、以及探针的执行时间。第三十五篇的「预算地图」框架可以直接套用:把「提高假说分辨率」当成一种想象的资源投入,把「减少真机探测」当成收益。

一个常用的简化:固定每个节点的参数粒子数 NpN_p,节点数 NoN_o 随证据增长而增长,于是总成本近似 No⋅(Np⋅cfilter+cpredict)N_o \cdot (N_p \cdot c_{\text{filter}} + c_{\text{predict}})。当 NoN_o 超过预算上限时,触发合并与剪枝:合并规划等价的节点,剪掉权重低于阈值的节点(但保留其证据计数,以便它在未来证据下复活)。剪枝阈值不是常数,要与「复活成本」挂钩:一个被剪掉的节点若在后续证据下本可胜出,复活它的代价是重新实例化与重放历史,这个代价越高,剪枝阈值应当越低。

工程落地:失败模式、标定与一个最小工作流

六种典型失败模式

失败模式表现根因修正
外观锁定系统坚持按外观判定的假说,力矩矛盾被忽略外观似然温度过大,或多帧证据重复计数按类内方差标定温度,用有效样本数折算帧数
假说缺失权重长期停在两个都不对的假说之间假说集没有能同时解释多条通道的节点用贝叶斯因子方向冲突触发组合扩展
参数过拟合参数后验很快变窄但随后被观测打脸似然方差设得过小,或负信息未计入用 Huber 似然并按通道标定方差,计入负信息
合并误杀两个被合并的假说在后来的任务里表现不同只用了参数距离,没做规划等价检查加入下游代价差异判据
探针冗余反复做测同一个量的探针,权重不动未记录已激活通道,边际增益未评估维护探针-通道-参数覆盖表
探针风险探针导致物体损坏或场景破坏代价模型缺风险项,或安全包络未按假说更新给每假说配安全包络,把风险计入净收益

这六种失败模式有共同的结构:都是在「信息被错误地加权」处出问题。外观锁定是外观被过度加权;假说缺失是信息无处可去;参数过拟合是单次信息被过度加权;合并误杀是信息被过度压缩;探针冗余是重复信息被当成新信息;探针风险是收益被高估、代价被低估。排查时可以按这个视角逐项检查每条通道的权重与每个探针的边际收益。

标定:让似然有可比的口径

多通道后验最容易崩的地方是标定。四条实践原则。

第一,每条通道的似然必须用同一物理量纲对齐。外观是无量纲相似度,力矩是牛顿米,触觉是帕斯卡,不能直接相乘后判断「哪个更强」。做法是把每条通道的似然先归一化成「在训练集上随机抽两个不同假说时,似然比的中位数」这个基准上,让各通道的尺度可比。

第二,噪声尺度要用观测残差分位数标定,而不是用理论噪声。取空载或已知物体时的残差 95 分位数作为 σ\sigma,比用厂商给的传感器噪声靠谱得多。

第三,负信息必须显式计入。很多实现只把「有的观测」放进似然,忽略了「应该接触却没接触」的观测,导致后验偏向预测接触点更多的假说。

第四,标定之后要做一致性测试:用一批已知物体回放,如果某一个已知物体的后验长期不集中于它的真实假说,就说明某条通道的标定有问题,而不是物体特殊。

一个最小工作流

把整篇的方法组织成可直接实现的流水线,共七步。

  1. 初始化:用视觉给出候选结构与姿态,按先验库实例化若干假说节点,权重按外观先验分配。
  2. 接触/抓取:执行任务的自然动作(闭合夹爪、轻提),同时记录本体感受与触觉数据。
  3. 权重更新:按各通道似然更新节点权重,使用有效样本数折算与 Huber 似然。
  4. 一致性检查:计算跨通道贝叶斯因子方向,若方向冲突则触发组合扩展;若所有节点边际似然低于下限,则新建未知节点。
  5. 合并剪枝:按结构-规划-参数三层判据合并等价节点,剪掉低权重节点并保留证据计数。
  6. 探针决策:在探针库里按净收益 U(a)U(a) 选下一个动作,检查任务可用性与信息价值停止条件。
  7. 交给预测与规划:按权重做混合预测,同时输出假说间方差供规划器保守处理。

这七步每一步都有明确的输入输出与可测的中间量:第 3 步的权重分布、第 4 步的贝叶斯因子、第 5 步的节点数、第 6 步的净收益、第 7 步的三项方差分解。任何一步的中间量异常,都可以在这一步定位,而不是等到任务失败再回溯。

与系列其他篇的连接

解释树的「竞争」与第(二)篇 Dreamer 的「潜空间想象」在结构上同源:都是在多个假设下做预测,再按证据加权。差别在于 Dreamer 的假设是连续的潜状态,解释树的假设是离散的结构。第(十六)篇的动作空间决定了探针库能有多大,第(二十二)篇的多模态状态决定了证据通道能有多少,第(三十五)篇的在线更新则对应「假说集在任务中途被新证据改写」的情形。第(十三)篇物体中心的槽位,可以看作解释树的一个特例——当结构层只有「一个物体」这一种时,解释树退化为槽位注意力。第(二十四)与(二十五)篇讨论世界模型做数据引擎时的失效边界,其中「生成轨迹污染下一轮训练」的问题,在物体辨识的场景里的对应物正是「假说集被错误扩展后,后续预测按错误结构执行并把误差写回数据」。第(三十一)篇的因果结构与第(三十二)篇的跨环境迁移,提供了一个更深的视角:结构层的假说(「这是一个带盖容器」)本身可能是一个可迁移的因果结构,而参数层(盖的重量)必须重估。

若要从系列入口重新理解这一篇所在的整体,可以从 (一):一个模型如何学会「想象」世界 开始,那里给出了信念状态与 POMDP 的形式化,这一篇的 bt(o,θ)b_t(o,\theta) 是它的一个结构化实例。

小结

这一篇把信念从「状态是多少」推进到「模型是哪一套」,结论可以压缩成六条。

第一,物体身份不能当成上游输入。分类器输出的是一个标签,而世界模型需要的是一个关于世界解释的分布,分布里每个解释自带参数后验。形式化上是在状态里加入离散变量 oo 与它自己的参数块 θo\theta_o,信念分解为「假说权重 × 假说内条件分布」。

第二,交互是辨识的前置条件。Gibson 实验说明静态观看不足,Bohg 等人的综述把交互式感知分成常识性信号利用与动作-感知循环两类,这一篇讨论的物体假设信念属于后者。

第三,假说集不是标签集,是一棵解释树。假说写成「结构 + 参数」的组合,结构可枚举、参数可优化,两者的推理与成本模型不同。假说有四个来源:先验库实例化、点对特征匹配、组合扩展、矛盾触发的必然扩展。延迟展开让树在实时预算内可用,展开价值下界防止错过父节点权重低但子节点正确的解释。

第四,权重更新只能在一个给定假说集内做选择,真正的进步来自假说集扩张。解释掉是最核心的机制:纸箱太重时,正确的做法不是把「空纸箱」权重调到中间,而是长出「填充纸箱」。奥卡姆因子(后验体积)是防止宽后验假说过度胜出的必要修正。

第五,合并与分裂都要经过三层判据:结构可对齐、下游规划是否等价、参数分布是否接近。合并要用混合分布而非单高斯,要重放历史重算权重,证据计数要重新生成而非相加。分裂由多峰性与观测变化触发。

第六,主动辨识是一个有净收益公式的决策问题:探针的收益来自期望熵减,代价来自时间、风险与机会成本,探针库有限且每个原型擅长测一种量,停止条件分为任务可用性、信息价值、预算三层。探针之外还可以改传感器配置,它与探针库共同决定收益上限。世界模型侧的接口是把整棵带权重的解释交给预测,按权重做混合预测,并把方差分成假说内、参数、假说间三项分别驱动后续行为。

把这一篇压缩成一句话:手里是什么不是一个标签,而是一棵还在长的解释树;辨识不是把权重推到一个答案上,而是让证据决定哪个解释该活下来、该往哪里长、下一步该测什么。

下一篇讨论这条路线再往深处的一步:当解释树不只在手里、还在整张桌面上时,「哪个物体属于哪套解释」不再由夹爪单独决定。多物体场景里,解释树之间会互相约束——同一张桌面上两个物体的质量总和与桌面受力一致、两个物体的位置与相互支撑关系一致、一条被遮挡的腿必须能接上某个物体的形状。届时会用到耦合信念、全局一致性约束与跨物体的证据共享,也会回到本系列第(十二)篇的几何世界模型与第(十八)篇的共享世界状态。

参考资料

  1. A Bayesian Framework for Active Tactile Object Recognition, Pose Estimation and Shape Transfer Learning
  2. Interactive Perception: Leveraging Action in Perception and Perception in Action
  3. Zero-shot Interactive Perception
  4. rt-RISeg: Real-Time Model-Free Robot Interactive Segmentation for Active Instance-Level Object Understanding
  5. Object Finding in Cluttered Scenes Using Interactive Perception
  6. Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception
  7. Bagging by Learning to Singulate Layers Using Interactive Perception
  8. Visuo-Tactile based Predictive Cross Modal Perception for Object Exploration in Robotics
  9. MonoLite3D: Lightweight 3D Object Properties Estimation
  10. FFHFlow: Diverse and Uncertainty-Aware Dexterous Grasp Generation via Flow Variational Inference
  11. Randomized Multiple Model Multiple Hypothesis Tracking
  12. Efficient Implementation of Marching Cubes’ Cases with Topological Guarantees
  13. On a Measure of the Information Provided by an Experiment

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(三十八):手里这个到底是什么——物体假设信念、解释树与主动辨识
https://pinghaoyang.com.cn/articles/insights/posts/world-model-object-hypothesis-belief-part-38/
作者
平昊阳
发布于
2026-11-19
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录