世界模型从零讲起(二十二):当世界不是用眼睛看到的——触觉、本体感受与多模态状态

16934 字
85 分钟
世界模型从零讲起(二十二):当世界不是用眼睛看到的——触觉、本体感受与多模态状态

承接前二十一篇:世界模型一直活在一台相机里

前一篇把物理结构写进了世界模型:用图网络表达「实体 + 关系」,用哈密顿量约束能量。但那些模型仍然共享一个隐含前提——世界的状态是从外部看得见的。粒子、关节、物体,都能被一台旁观相机完整观察。

本系列前二十一篇几乎都建立在这个前提上。第一篇把世界模型形式化为 POMDP 里的「状态推断 + 动作条件预测」,第三篇的 JEPA 从图像块预测图像块,第四篇的视频生成模型逐帧生成画面,第十九篇分析闭环误差时默认「观测」是相机帧。即便是第二十一篇的图网络,节点位置与速度也来自可见的物体。

真实操作里,这个前提经常失效。抓取的一瞬间,物体被手掌遮住;擦拭时,接触面藏在抹布下面;旋转螺丝时,手指挡住了螺纹与孔的对位。此时相机看到的是「一片光滑的手背」,而真正决定下一刻会发生什么的是手指下方那几平方厘米的接触状态:有没有接触、接触多紧、正在打滑、表面是软还是硬。同一帧画面可以对应至少三种截然不同的物理现实——悬停未触、轻触、握紧。只看图像,世界模型无从区分,只能猜。

这篇讲的是世界模型向视觉之外的第一层扩展:触摸与本体感受如何进入世界模型。它不是「再拼一个模态进去」那么简单,触觉与视觉在物理层面几乎是两种信号类型:一个是稀疏、局部、高频的接触场,一个是稠密、全局、低频的光学投影;一个不满足「帧」的结构,一个天然是二维图像序列。把两者塞进同一个预测器,会同时冲击表征、时序与融合三个层面的设计。

本文以 2026 年的一批工作为主线:Meta FAIR 与华盛顿大学合作的 VT-WM(Visuo-Tactile World Models,arXiv:2602.06001)、ViTacWorld(arXiv:2607.22530)、ContactWorld(arXiv:2606.13877)的受控表征研究、OmniVTA(arXiv:2603.19201)的系统级设计,以及更早的 Multimodal World Model(arXiv:2304.11193)与视觉触觉传感器 OmniTact(arXiv:2003.06965)。这些工作共同回答三个问题:

  1. 触觉世界模型要预测的是什么?为什么不能简单地把触觉「拍成一段视频」?
  2. 接触类任务的世界模型需要哪些状态量,它们各自是什么时间尺度?
  3. 视觉与触觉在预测器里如何融合,融合的表示形式又怎样决定规划的成功率?

先给出结论轮廓:触觉给世界模型带来的最大价值不是「更丰富的外观」,而是一个只看图像时无法推断的隐变量——接触是否发生、以什么方式发生。世界模型多了一个可以直接观测这个隐变量的通道,它对因果关系的遵守就从「视觉猜测」变成了「物理可查」。代价是:触觉数据更难采集、更依赖硬件、时间尺度比视觉快一个数量级,且只能在接触面上提供信息。

视觉世界模型在接触处会坏在哪里

只看图像时,哪些物理量是「不可观测」的

把接触问题拆成物理量来看:两个面之间的法向力、切向摩擦、是否发生滑动、接触面积、表面形变。这些量中没有一个能被外部相机直接测量。相机看到的是一组像素强度,物体的运动由力驱动,而力隐藏在物体之间的界面里。

前一篇讨论图网络时提到过接触与摩擦是难点。视觉世界模型面对这个界面时的处境是:它必须从「物体运动了」反推出「受力了」,再根据物体外观推断「为什么受力」。一旦界面被遮挡,这条因果链就断掉了。世界模型只能在缺少中间变量的情况下做插值,于是出现下面几种典型失败。

三种典型失败模式

VT-WM 把视觉世界模型在接触类任务中的失败归纳为三类,这三类都对应「视觉看不出接触」:

  • 物体消失或瞬移:抓取过程中物体被手挡住,视觉模型无法维持物体存在,它可能在某帧把物体从想象中抹掉,再在放下时凭空出现于别处。这就是物体永存性(object permanence)的失败。
  • 不符合运动规律的位移:手悬停在布料上方但没有接触,视觉模型却预测布料跟着手的运动方向变形或移动。物体在没有任何外力作用时改变了状态,这是因果服从(causal compliance)的失败——模型学的是「手和布的像素共变」,而不是「力作用于物体才使物体动」。
  • 接触状态不可区分:图像上手与杯子的相对位置完全相同,但实际可能是「未接触、即将接触」或「已握紧」。这时的 rollout 分叉取决于被遮挡的接触状态,视觉模型没有信息做这个分叉。

这三类失败有一个共同的数学结构:真实世界状态的转移依赖于一个隐变量 cc(接触状态),而相机观测 oo 是 cc 的有损投影。模型学到的是 P(st+1∣st,at,ot)P(s_{t+1} \mid s_t, a_t, o_t),当 cc 在 oo 中不可见时,这个条件分布就变成多峰的,模型往往取其均值或最平凡的一支。

用一句不等式说清楚

设真实的状态转移函数是 f(st,at,ct)f(s_t, a_t, c_t),视觉世界模型近似的是

s^t+1=f^(st,at,ot),\hat{s}_{t+1} = \hat{f}\big(s_t, a_t, o_t\big),

由于 ct⊈σ(ot)c_t \not\subseteq \sigma(o_t)(ctc_t 不由观测决定),存在两组不同历史 hh、h′h' 使得 ot=ot′o_t = o'_t 但 st+1≠st+1′s_{t+1} \neq s'_{t+1}。一个只以观测为条件的预测器无法同时拟合这两种情况,它要么学到混合后的平均轨迹(物理上不可能),要么学到训练分布里最常见的那一支(在没见过的接触状态下出错)。

触觉的价值就来自这里:它为 ctc_t 提供了一个直接观测通道。当 ctc_t 可观测,预测器要拟合的就不再是多峰的条件分布,而是「给定接触状态时确定(或低方差)的动力学」。

为什么「多发一张触觉图片」不足以解决问题

一个直觉的补丁是:既然触觉传感器也输出图像,那就当多一路相机,把它当额外的视觉帧送进预测器。这个做法在小规模任务上能跑,但有一个规模性问题:视觉与触觉的图像统计特性差异极大。视觉帧是外界光照下的稠密图像,触觉图像是接触面被压在传感器弹性体上的阴影图——亮度对应压力分布,纹理对应表面几何,且它只在接触时才有信息量,离开接触时只是一片均匀。视觉编码器学到的纹理与语义统计,迁移到这种图像上效率很低。

更根本的是时间结构:视觉世界模型以 6–15 fps 的「环境帧」建模,而触觉传感器以 30–120 Hz 输出,控制信号(本体感受)在 30–500 Hz。它们对应的是三种不同的物理过程,用同一个时间轴建模必然丢失一类过程的细节。这一点后文会展开。

触觉是什么:传感、表征与时间尺度

从触觉传感器到触觉状态

机器人上的触觉传感器有几种主流形态。最简单的是力/力矩传感器,装在手腕上,输出一个六维向量;其次是接触式触觉阵列,例如气压或电容阵列,输出一个小分辨率的压力矩阵;更现代的是视觉触觉传感器(vision-based tactile sensor),如 GelSight、Digit 360、OmniTact,它们用内部相机拍摄一块弹性体的形变,间接得到高分辨率、带纹理的接触图像。

OmniTact(arXiv:2003.06965)是这一类里较具代表性的一件。它把多个微型相机嵌在一个透明半球中,从多个方向注视球面弹性体,因此能感知到三向接触而不只是一个平面。视觉触觉传感器的关键设计动机是:接触形态本身是二维(接触面上的压力与位移分布),而一个相机就擅长拍摄二维分布,于是它用相机去「拍接触」。

Digit 360 触觉传感器输出的接触图像

上图是 VT-WM 使用的 Digit 360 传感器输出的触觉图像。白框标出了真实发生接触的区域:手握住螺丝时,只有指尖与螺丝接触的那一小块区域出现明显形变,其余部分接近均匀。这张图直观地说明触觉图像的信息是稀疏的——没有接触的区域几乎不含信息,而接触区域承载了压力分布与表面几何两重信息。

触觉信号与视觉信号的四个本质差异

维度视觉视觉触觉(Vision-based tactile)
空间覆盖全局、遮挡物体仅传感器与物体的接触面
分辨率/频率6–15 Hz 的环境帧,320×192 左右30–120 Hz,高分辨率压力/形变图
信息触发持续存在仅在接触时携带信息,离开接触近似空白
物理含义外观、位置、语义力、摩擦、滑动、形变

这四个差异决定了触觉在预测器里的三条设计约束:

  1. 不能用统一的时间轴。触觉应被视为「快过程」,视觉是「慢过程」。VT-WM 的训练配置直接体现了这一点:视觉输入是最近 1.5 秒内的 9 帧(6 fps),而触觉输入只取最近 0.16 秒内的 2 帧(每只 Digit 360 传感器)。两者刻意不在同一时间跨度上。
  2. 触觉编码器需要与视觉编码器分开。VT-WM 分别使用 Cosmos tokenizer(视觉)与 Sparsh(触觉,专门为 Digit 360 训练),再在潜空间里融合,而不是把两路像素拼成一张图。
  3. 触觉不能承担全局信息。触觉只告诉模型「接触面发生了什么」,它无法告知「远处桌子上的第三块积木在不在」。多模态世界模型必须让两个通道各司其职:触觉负责接触因果,视觉负责全局布局。

触觉潜变量是一个「高信息密度的稀疏信号」

为什么要把触觉压成一个压缩的潜变量,而不是直接让它当第二路视觉?原因在于信息密度。一整帧相机图像覆盖几千个像素,其中大部分与动作无关;而一帧触觉图像只在有接触时携带信息,它的每个像素都与「力」直接相关,且这种相关性在视觉图像里不可见。如果让一个统一预测器处理全部两路 token,注意力预算会被大量无关的触觉区域消耗,而真正决定动力学的那几平方厘米接触区反而得不到足够建模。

VT-WM 的做法是把触觉单独编码成低维、紧凑的状态 tkt_k,只把「接触是否发生、接触强度、接触几何」的信息带到预测器中,再用一个单独的输出头重建触觉。这样预测器的输入序列长度由视觉 token 主导,触觉不主导计算量,却能在关键处提供判别力。

本体感受:第三种输入,但它不是「观测」

除了视觉与触觉,接触任务里还有第三种信号必须进入世界模型:本体感受(proprioception)。它指的是机器人自身的关节角、末端位姿、速度、夹爪开合宽度等状态量,通常以几十到几百赫兹的速率从编码器读取。

本体感受与视觉、触觉有一个本质区别:它不是对环境的外部观测,而是对自身的内部读数。相机看到的是世界,触觉摸到的是接触界面,本体感受则直接给出「我的手在哪里、以什么姿态、正在以多快的速度移动」。这带来两个后果:

第一,本体感受的维度很低(一个六自由度机械臂大约十几个数),但精度很高、延迟很低。它不需要「编码器」去压缩——它本身就是一个结构化的低维向量。VT-WM 直接把本体感受的增量(平移与四元数旋转变化)当作动作输入的一部分,正是因为这个量本身已经足够紧凑。

第二,本体感受是世界模型的输入,也是世界模型的输出候选。如果世界模型要预测「执行这条动作序列之后手会到哪里」,它实际上在预测一个本体感受量。因此本体感受与动作在数学上是同一类信息的不同时刻取值:动作是「我打算让本体感受怎么变」,本体感受是「它实际怎么变了」。

这一点在下一篇文章会展开:当机器人的身体本身会变化(换末端执行器、换关节构型),世界模型必须把「身体」与「世界」拆成两个可以分别更新的部分。这篇只需要记住一条:本体感受是唯一一个既作为输入又作为预测目标进入世界模型的模态,它在融合结构里的位置与视觉、触觉不同。

VT-WM:把视觉潜变量与触觉潜变量喂给同一个预测器

VT-WM 于 2026 年 2 月由华盛顿大学 Paul G. Allen 学院与 Meta FAIR 的研究者发布(arXiv:2602.06001)。它的结构是目前公开工作里最直接回答「视触觉世界模型长什么样」的一篇,而且提供了「相同动作条件下视觉模型与视触觉模型的 rollout 对比」这样的干净实验。

VT-WM 架构图

上图是 VT-WM 的整体结构:左侧是视觉与触觉两路输入,分别经 Cosmos tokenizer 与 Sparsh 编码成视觉潜变量 sks_k 与触觉潜变量 tkt_k;中间是一个 12 层 transformer 预测器,它接收动作 aka_k,输出下一时刻的两种潜变量 (sk+1,tk+1)(s_{k+1}, t_{k+1});右侧则展示了自回归 rollout 的展开:每一步的预测结果又被喂回预测器,形成一条只在潜空间里延伸的想象轨迹。

三模块分解:编码器、预测器、输出头

VT-WM 的架构可以拆成三个部分。

编码器:视觉一路用一个冻结的 Cosmos tokenizer 把每一帧外来视角的相机图像编码为视觉 latent;触觉一路用 Sparsh 把 Digit 360 的触觉图压成触觉 latent。两者的编码器都是预训练的,训练世界模型时它们冻结或不冻结另有配置,核心是不让世界模型从头学感知——接触动力学需要的是「给定当前接触状态,下一步如何变化」,而不是「如何从像素中识别接触」。

预测器:形式化的目标就是

(sk+1,tk+1)∼Pϕ(sk,tk∣ak),(s_{k+1}, t_{k+1}) \sim P_\phi\big(s_k, t_k \mid a_k\big),

其中 ϕ\phi 是预测器参数,sks_k、tkt_k 分别是当前视觉与触觉潜变量,aka_k 是动作。注意这里的动作是增量状态:平移与四元数旋转的变化量,加上一个二值的手张开/闭合状态。动作序列以 30 Hz 采集,按每 5 步组成一个 chunk 输入,这一点与本站此前讲动作分块的文章相同思路,可参考 世界模型从零讲起(十六):动作怎么进入模型。

输出头:两条模态专属的解码头,分别把预测器输出的 latent 投回原维度,用于计算下一帧潜变量的监督损失,以及在需要时解码出可读的视觉与触觉图像。

空间注意力与时序注意力的因子化

如果对「时间 × 空间」的全部 token 做完全注意力,复杂度是 O((THW)2)O((T H W)^2),其中 TT 是帧数、H,WH,W 是每帧的空间网格大小。VT-WM 采用因子化注意力:第一层在同一时间步内让所有视觉与触觉 token 互相注意(空间注意力),第二层让每个 token 跨时间注意(时序注意力)。这样复杂度从「所有 token 两两注意」降为「帧内两两注意 × 帧间两两注意」的近似,计算量大约是 O(T2+(HW)2)O(T^2 + (HW)^2) 级别(更准确地说按块计算)。

因子化的一个副作用值得强调:它与后文「触觉是快过程」的观察正好匹配。时序注意力的分辨率(对哪些时间步做建模)由帧数决定,而空间注意力才负责在某一帧里比对视觉与触觉的局部接触关系。分开两轴注意力,等于给模型一个显式的「本帧内部比较哪块接触区」的算子。

交叉注意力:动作以另一条序列进入

预测器在每个自注意力块之后加一个交叉注意力:视觉-触觉 token 作为 query,动作 token 作为 key/value。这与视觉世界模型的常见设计一致,但在这里有一个微妙的好处——动作序列与触觉序列都按各自频率建模,但它们通过交叉注意力在潜空间里耦合,不必把两路强行对齐成同一条时间轴。动作以 chunk(5 步)的方式进入预测器,而触觉以 2 帧(0.16 秒)进入,两者只需要在潜空间里说同一种「下一步会怎样」的语言,不需要像素级的同步。

所有注意力层使用 RoPE 做相对位置编码,这与本站介绍过的现代 transformer 位置编码一致。

训练输入的时间尺度

VT-WM 的训练配置本身是这篇文章最重要的「设计证据」:

  • 视觉:1.5 秒的外来相机视频,9 帧、6 fps、320×192。
  • 触觉:每只传感器最近 0.16 秒内的 2 帧,四只 Digit 360 共 8 帧触觉输入。
  • 动作:30 Hz 的本体感受增量 + 手部开合状态,按 5 步一个 chunk。

为什么触觉只取 0.16 秒?论文给出的解释是:接触信息在时间上更局部、频率更高,它反映的是「此刻力在怎样变化」,而不是「这一段运动整体长什么样」。更长的触觉窗口不会带来额外信息,反而稀释了「此时刻」的接触几何。相反,视觉需要更长的窗口,因为动作的意图与全局布局只有跨若干帧才能看出。两路输入使用不同的时间窗口,正是多模态世界模型与「多相机视频预测」的关键分歧。

推理:在潜空间里的自回归想象

VT-WM 的推理过程是标准的潜空间 rollout:给定当前视觉与触觉潜变量,预测器输出下一步潜变量,再把输出喂回预测器,生成「想象出的未来」。在规划时,它用 CEM(Cross-Entropy Method)在动作序列空间里搜索,对每一条候选动作序列做 rollout,用某种代价函数(例如到目标状态的距离)评估想象轨迹,再选择更优的动作序列执行。

这里需要强调一个此前系列文章多次讲过、但常被忽略的性质:rollout 的误差是累积的。第二步的输入是第一步的预测输出,预测误差在每一步都会被当作「真实状态」传播。触觉在这个链条里的角色,是在每一步提供一个「接触状态是否自洽」的校验信号。下一节的实验会显示,这个校验显著改善了误差的传播方式。

触觉给想象带来了什么:三组可比实验

VT-WM 的实验设计有一个难得的优点:它把「视觉世界模型」(V-WM)与「视触觉世界模型」(VT-WM)放在完全相同的动作与上下文下比较。动作序列来自真实系统的演示数据,因此每一段 rollout 都有对应的真实视频。这种「同一动作下,两种模型各想象一次」的对照,比「换一个更强的模型再跑一遍」更能说明触觉本身的作用。

物体永存性:被手遮挡的物体还能不能留在世界里

物体永存性衡量的是:物体被暂时遮挡时,模型是否仍维持其存在与位置,并在遮挡解除时出现在正确的位置。VT-WM 用 CoTracker 跟踪物体上的关键点,计算想象轨迹与真实轨迹之间归一化的 Fréchet 距离(一种衡量两条曲线形状差异的度量,越小越接近)。

DF(imagined,gt)=min⁡γmax⁡t∈[0,1]∥I(t)−G(γ(t))∥,D_F(\text{imagined}, \text{gt}) = \min_{\gamma} \max_{t \in [0,1]} \big\| I(t) - G(\gamma(t)) \big\|,

其中 I(t)I(t) 是想象的轨迹,GG 是真实轨迹,γ\gamma 是对时间参数的单调重参数化。Fréchet 距离的关键性质是:它不只比较同一时刻的点,而是允许时间上的轻微错位,因此更能惩罚「形状完全不同」的轨迹,例如物体在想象中跑到另一个位置。

VT-WM 在五个接触任务上均降低了 Fréchet 距离 18%–47%,平均约 33%。其中放水果(t=4.38,p<0.001t=4.38, p<0.001)、推水果(t=6.06,p<10−6t=6.06, p<10^{-6})与码方块(t=2.40,p<0.05t=2.40, p<0.05)达到统计显著。擦布与画记号任务的下降趋势一致但在 5% 水平上不显著。

为什么码方块最依赖触觉?因为它是最典型的遮挡任务:方块被手握住并搬运时完全不可见,放下之后必须准确地落在目标方块上方。视觉模型在遮挡期间丢失方块,放下时只能凭上下文猜位置;触觉模型在遮挡期间持续收到「指尖有接触、接触面积与压力大约为某方块大小」,这为「手上有一个方块」供给了证据。

因果服从:没有受力就不该动

因果服从衡量的是另一件事:物体的状态应当只在受外力时改变。VT-WM 用静止物体的 Fréchet 距离来测这一点——当手悬停在布料上方没有接触时,一个因果服从的模型应预测布料保持静止;视觉模型则可能让布料随手的运动方向移动或变形。

VT-WM 在这一指标上平均提升约 29%。这个数字背后的机制比数字本身更有意思:视觉模型在像素层面看到的「手向下移动 + 布料形状变化」经常共现于数据,于是学到了「手向下动 → 布向下变形」的关联,但这条关联只在有接触时才是因果的。触觉模型多了一条直接证据:触觉 latent 显示未接触时,它可以从「手在动但没碰到」这一步分叉出「布不动」的未来。这就是前文「隐变量 cc 被观测」带来的效果——不是视觉看错了,而是视觉根本没有信息。

规划:想象对了,才敢执行

最有说服力的实验是在真实机器人上的零样本规划。VT-WM 用 CEM 在动作序列空间里搜索,以想象 rollout 的结果作为评估,选出动作序列后直接在真机上执行,不做任何真机微调。VT-WM 的零样本成功率最多高出 35%,且增益集中在多步、接触密集的任务上。论文还展示了它的下游可迁移性:在一个新任务上,仅用少量演示就能把学到的接触动力学迁移过去并完成可靠规划。

这里有一条对世界模型研究很重要的观察:想象轨迹的物理保真度直接转化为执行成功率。世界模型不是仿真器那样只要「看起来像」就行,它的输出被规划器当作未来状态去评估代价,因此它必须在「手是否碰到物体」这一层信息上可靠。触觉提供的正是这一层。

VT-WM 想象轨迹与真值的对比

上图是 VT-WM 的定性对比:每一组三行从上到下分别是真实初始配置、真值最后一帧的 RGB 与触觉图像、以及 VT-WM 用真值动作序列 rollout 后解码出的最后一步潜变量。可以看到模型不仅预测出了物体最终的相对位置,还预测出了最后一个接触时刻的触觉图像——两路输出是同一条 rollout 的两个切面,而不是两个独立模型的产物。

一个需要谨慎的读法

这些数字是「相对同任务视觉模型」的增量,而不是触觉模型自身的绝对表现。35% 的成功率提升代表的是在若干任务上视觉模型本来就有相当一部分失败,而触觉补上了其中一部分。若一个任务本身不怎么依赖接触(如在空旷桌面做自由空间移动),触觉几乎不带来信息,反而会增加一个需要处理和同步的模态。判断该不该引入触觉,先问一个问题:任务的关键失败是否发生在被遮挡的接触界面上。如果是,触觉是直击要害的;如果不是,它多半是噪音。

ContactWorld:不是所有触觉表征都同样有用

如果 VT-WM 回答的是「触觉有用吗」,ContactWorld(arXiv:2606.13877)回答的是「触觉和视觉应该以什么形式进入世界模型」。它用一套固定的世界模型架构、固定的训练流程和固定的规划框架,只改变表征形式,在 12 个接触密集的操作任务上比较。

ContactWorld 多种视觉与触觉表征

上图列出的视觉表征包括腕部视角 RGB、正面视角 RGB、点云,触觉表征包括原始触觉 RGB 图像、接触深度图(TacDepth)、触觉力场(TacFF)等。它们捕捉的物理量并不相同:RGB 捕捉外观与部分几何,点云直接保留三维几何,触觉深度图反映形变,力场反映法向与切向力的分布。

三个评价维度

论文把表征的好坏拆成三个互补的属性:

  • 空间保真度(spatial fidelity):表征是否保留了决定任务成败的几何关系,例如接触面相对物体的位置、物体之间的对齐。
  • 运动一致性(motion coherence):表征是否稳定地跟踪真实物体的运动,不引入伪影位移。
  • 预测稳定性(predictive stability):在延长预测时域时,隐空间 rollout 的误差累积有多快。

这三项共同决定下游的规划成功率,而不是单一指标。

结果:点云胜过 RGB,力场胜过原始触觉

论文报告的模拟规划平均成功率为:点云视觉 32.1%,腕部 RGB 20.7%,正面 RGB 22.0%。三项中差异不是随机波动,而是与「空间保真度」直接对应:点云保留任务相关几何,而 RGB 把三维结构压扁成二维投影,遮挡下几何丢失。这一条结果与此前讲几何式世界模型(NeRF 与 3D Gaussian Splatting)时的结论同源,可参考 世界模型从零讲起(十二):把世界建成一个可以走进去的场景。

触觉一侧,结构化触觉力场而非原始触觉图像提供最一致的下游收益。点云 + 触觉力场组合达到 36.1% 的模拟平均成功率。

为什么原始触觉图像不是最优表征

原始触觉 RGB 图像是「传感器看到什么就存什么」。它保留了全部信息,但也携带了与接触动力学无关的部分:弹性体的光照、传感器表面的指纹或磨损、非接触区域的均匀底色。当规划器需要在想象中判断「接触是否足够支撑下一步」时,它需要的是力的方向与大小,而不是一张漂亮的彩色图。触觉力场把「手指压着物体、压力集中在某个方向」直接编码成结构化数值场,模型只需少量步骤即可从它推断下一步的因果。

这与本站讲过的推理优化里的一个原则相通:表征的选择决定了后续模型的能力上限与计算成本。在视频生成式世界模型里,把像素改成压缩后的潜变量是同样性质的决策,可参考 世界模型从零讲起(四):视频生成式世界模型。

触觉的长程收益与短程不确定性

ContactWorld 的另一个细致结果值得强调:触觉总体上能降低长时域预测误差的累积,但这种收益并不能均匀地转化为任务成功率。原因在于大多数接触任务的失败发生在短时域里的接触误判——「碰没碰到」这一步若判错,后续再长的预测也挽不回。触觉力场之所以优于其他触觉表征,部分是因为它在短时域就能直接给出「力已经作用了」的证据,而原始触觉图像还需要模型自己去识别力。

同时,论文强调这些结论是在受控条件下验证的:900 次物理试验、六项任务、两种机器人平台、三套触觉传感系统。这组验证跨越了硬件与平台差异,说明结论并非某一个传感器的特例。

ViTacWorld:视触觉世界模型的「规模化」问题

VT-WM 与 ContactWorld 都在多任务上训练,但它们有一个共同的瓶颈:带触觉的交互数据太贵。真实触觉数据需要传感器、需要人操作、需要逐条标注任务与成功与否,采集成本远高于纯视频。ViTacWorld(arXiv:2607.22530)把这个问题当成核心,提出了一条可规模化的路径。

ViTacWorld 的预训练与真机微调流水线

上图的流水线分三段:左侧用真实触觉数据集与构造的仿真环境共同预训练一个动作条件的视触觉世界模型;中间是 DiT 主干与「视角感知」的 transformer,把主视角、腕部视角与触觉三路流分别编码,再通过跨视角注意力融合;右侧是微调与评估:用真实策略的 rollout 继续微调世界模型,再用它生成的想象轨迹做策略改进与评估。

一个关键的物理直觉:触觉的仿真到现实差距更小

这条路线成立的前提是一个直觉但重要的观察:触觉信号直接落在物理接触上,它的仿真到现实差距可能比纯视觉更小。视觉的 sim2real 差距来自光照、材质、纹理、渲染器与真实相机之间的差异,这些因素在世界模型里被当成「外观」学习,稍微换一个环境就漂移;触觉信号来自弹性体形变,它的统计特性主要由接触几何与材料刚度决定,传感器一旦固定,仿真里建模「压下去多深、接触面积多大」要比渲染出一张逼真的照片容易得多。

因此 ViTacWorld 的策略是:用公开的真实触觉数据集保证物理真实性,用构造的仿真环境扩展任务与场景多样性,两边混合预训练。这个组合的动机与 ContactWorld 的「点云优于 RGB」结论一致——越是直接编码几何与物理量的表征,越容易跨域迁移。

世界模型的三种用途

ViTacWorld 把视触觉世界模型用于三件事,这三件事对应三种不同的使用方式,值得逐一看:

  1. 用生成数据改进策略(policy improvement):世界模型想象出大量视触觉轨迹,把成功的想象轨迹当作额外的演示,用来训练或改进下游策略。这一步的隐含假设是,想象的轨迹足够真实,以至于策略从中能学到正确的接触处理方式。
  2. 用想象 rollout 做策略评估(policy evaluation):不必每次都在真机上跑,先在世界模型里评估候选策略的成功率,筛掉明显失败的版本。这与第十九篇讲的「用模型做闭环评估」是同一思路的另一面。
  3. 直接作为世界模型的质量分析工具:比较想象轨迹与真实轨迹的差异,判断模型在哪一类接触上失真。

规模化带来的新问题:想象出来的触觉会自洽吗

生成数据改进策略有一个前提:想象的触觉与想象的视觉必须互相一致。如果视觉预测「夹爪合拢、方块被夹住」,而触觉预测「没有接触」,策略就会从这种自相矛盾的样本里学到错误的因果。VT-WM 的架构里两路共享同一个预测器并以交叉注意力耦合,正是为了抑制这种不一致;ViTacWorld 的跨视角注意力与多流设计也在做同一件事。

这个问题的严峻性随着规模化放大:少量数据时模型只会在见过的接触模式上想象,不一致样本少;数据一多、场景一杂,模型会外推到没见过的接触组合,不一致的概率上升。所以在规模化路线里,对跨模态一致性的约束不是可选项,而是数据质量的一部分。

OmniVTA:把触觉世界模型放进一条分层控制回路

前述工作大多把世界模型当规划器里的一个模块。OmniVTA(arXiv:2603.19201)走得更远:它先建一个大规模视触觉数据集,再围绕世界模型搭一条分层的慢快控制回路。它回答的是「世界模型在真实系统里的位置是什么」。

OmniVTA 慢快分层系统结构

上图把它分成几层:左侧以 15 Hz 进入的图像与 60 Hz 进入的触觉、本体感受;中间是慢策略(slow policy),包含视触觉世界模型与自适应视触觉融合策略,以约 4 Hz 输出动作分块;右侧是快策略(fast policy)——一个反射式的潜空间触觉控制器,以 60 Hz 输出细粒度的修正动作,与慢策略的计划做加权叠加后执行。

数据集:六种物理交互模式

OmniViTac 数据集包含 21,000 条以上轨迹、86 项任务、100 多类物体,并按六种物理交互模式组织(例如按压、滑动、插入、包裹等)。按「交互模式」而不只按「任务名」分类,是为了让世界模型学到可复用的接触动力学:同一类接触在不同任务里出现,模型可以把「这类接触下一步会怎样」迁移到新任务。

数据集里还有一个值得关注的统计量:触觉活跃比例(tactile active ratio)。它衡量一条轨迹中真正有接触的时间占比。接触密集任务的活跃比例天然高,而自由空间移动的任务大部分时间为零。这个量直接决定了「值不值得为这个任务装触觉」——如果活跃比例只有几个百分点,触觉世界模型的大部分输入都是空白,它的边际价值就低。

两流世界模型与「推理时不生成图像」

OmniVTA 的世界模型是两流的:视觉流与触觉流分别预测,视觉流负责全局布局,触觉流负责接触。这里有一个工程上很聪明的决定:

推理时,世界模型只预测未来的触觉信号,不生成未来的视觉观测。

理由与前文的时间尺度分析完全一致:慢策略做的是长时域动作分块规划,它需要的未来信息主要是「沿着这条动作序列,接触会怎样演化」;视觉的未来帧对规划帮助有限,却要付出视频生成的完整代价(扩散或自回归的高成本)。跳掉视觉生成,世界模型就能以更高频率 rollout,保持接触动力学的预测能力而大幅降低延迟。

这是本站反复讲过的原则在多模态世界模型上的体现:预测什么、不预测什么,决定了系统能跑多快。可参考 世界模型从零讲起(九):一枚 token 要多久才能变成下一刻。

TactileVAE:用三维标记位移而非原始触觉图

OmniVTA 的触觉编码器叫 TactileVAE,它有一个明确的选择:对光学触觉传感器,输入不是高分辨率触觉图像,而是三维标记位移场。光学触觉传感器内部通常有一层带标记点的弹性体,标记点在接触时发生三维位移,位移场直接对应表面形变。相比原始图像,位移场的分辨率更低(例如 35×2035\times20、20×2020\times20 的网格),但信息更直接,编码更快,也更容易在仿真里复现。

这与 ContactWorld 的结论互相印证:结构化、物理量化的触觉表征优于原始触觉像素。两条独立研究线给出了同一个方向的建议。

自适应融合:什么时候该信视觉,什么时候该信触觉

慢策略里的「自适应视触觉融合」用一个门控机制给两路特征分配权重。这个设计针对的正是前文反复说的场景:视觉在自由空间可靠、在接触与遮挡时不可靠;触觉在接触时可靠、在非接触时无信息。固定权重必然在某一类场景吃亏,门控则让系统按当前状态动态调整。

门控的输入通常是当前两路特征的某种组合,输出是一个标量或向量权重。它的训练信号来自任务损失,因此模型会自己学到「抓取遮挡时提高触觉权重」这类规则。这种机制在概念上等价于给多模态世界模型配了一个「观测可信度」估计器,与此前讲不确定性时提到的「让模型知道自己不知道」是同一族思路,可参考 世界模型从零讲起(一):一个模型如何学会「想象」世界。

快策略:为什么世界模型不够,还要一个 60 Hz 的反射回路

这是 OmniVTA 最值得从系统角度看的部分。慢策略以 4 Hz 输出动作分块,意味着两次规划之间约 250 ms。这个间隔对自由空间运动没问题,但接触任务里 250 ms 足以让一次打滑变成物件掉落。于是系统加了一个快策略:它不重新规划,只根据当前观测与预测的触觉信号输出小幅修正,60 Hz 执行。

aexec=aplan+λ areflex(tk,t^k+1),a_{\text{exec}} = a_{\text{plan}} + \lambda\, a_{\text{reflex}}(t_k, \hat{t}_{k+1}),

其中 aplana_{\text{plan}} 是慢策略给出的计划动作(在一个分块内保持不变),areflexa_{\text{reflex}} 是反射控制器基于当前触觉与预测触觉给出的修正量,λ\lambda 是预设的缩放系数。这个结构把「长时域该做什么」与「这一刻手上该加多少力」拆成两个不同频率的回路,避免用一个高频模型去做低频规划,也避免用一个低频模型去做高频反馈。

这与部署篇讲的动作分块执行是同一套账本,可参考 世界模型从零讲起(七):从评测到上线。

更细的状态分解:接触、力、滑移

把触觉压成一个 latent 是一种做法,另一种做法是显式地把接触状态拆成几个有物理意义的变量,分别预测。FeelWorld(arXiv:2607.24267)选择了后者,它把触觉状态组织成一个三层结构:

  1. 接触状态:二值的「是否接触」,决定物理交互是否发生。这是最粗但也最关键的判别。
  2. 三维触觉潜变量:编码与力相关的信息,相当于把接触强度、方向压成一个连续向量。
  3. 滑移状态:接触面是否正在相对滑动。滑移是一个事件型状态,它一旦发生,物体就可能在下一刻掉落。

这三层不是并列的,而是有条件的层级:滑移只在接触发生时才有意义,力的方向只在接触发生时才可解释。FeelWorld 用同一个共享潜动力学模型联合预测这三者,并给出显式监督。这种「共享动力学 + 分层状态」的结构,好处是预测器不必在每一层重复建模环境,只需在不同抽象级别上输出不同精度的量。

论文还处理了一个很实际的陷阱:自由空间运动中的触觉信号是无关的。如果模型把所有时刻的触觉都当作同等重要的监督,那么在无接触的自由运动阶段,触觉输入是一片空白,模型会被迫用这些无效信号去拟合,反而稀释视觉预测的质量。FeelWorld 用门控机制抑制这类无关触觉信号对视觉预测的干扰。这种「按状态有效性给模态加权」的思路,与 OmniVTA 的自适应融合是同一族设计。

滑移这件事本身值得多说一句。滑移是接触任务里最典型的前兆信号:物件从夹爪中滑出之前,通常先在接触面上发生微小的相对位移。视觉上这几乎是不可见的——物体看起来还在手里;触觉上它是一个清晰的事件。世界模型若能预测「下一步会滑」,就能在动作层面提前加大夹持力。这是触觉世界模型相对视觉世界模型最不可替代的能力之一:不是把画面预测得更准,而是预测一个视觉永远看不到的事件。

力与触觉的分工:TacForeSight 的不对称建模

TacForeSight(arXiv:2606.11184)提出了一个有意思的观察:全局力与局部触觉在时空上扮演不对称的角色。手腕上的力/力矩传感器提供全局的合力,频率高(数百赫兹)、覆盖整个手部,但空间分辨率低;指尖触觉提供局部接触几何,空间分辨率高,但只覆盖指尖那一小块,且频率相对较低。

把两者当成「两个同类观测」去融合是浪费。TacForeSight 的做法是以高频的腕部力/力矩信号为条件,去预测短时域的指尖触觉潜动力学:

t^k+1:k+H=Gθ(tk, fk),\hat{t}_{k+1:k+H} = G_\theta\big(t_{k},\ f_{k}\big),

其中 tkt_k 是双指触觉观测的潜编码,fkf_k 是高频腕部力/力矩,HH 是较短的预测时域。这样,力信号负责「整体的受力趋势」,触觉负责「局部的接触细节」,预测器只需学一个轻量的映射。论文强调该框架是轻量、面向实时的——这在推理侧很重要,因为接触任务的控制频率要求高,世界模型不能是一个几百毫秒才能算一步的大模型。

这也解释了一个设计上的常见误解:很多人以为「多模态世界模型」就是把所有模态拼进一个大 transformer。实际上,当不同模态的频率与信息角色差异很大时,用小模型做跨模态的条件预测、把大模型留给低频规划,往往是更合理的系统分解。这与前文 OmniVTA 的慢快分层是同一原理的不同切面。

从人手上采集触觉:DexTouch-WM 与可迁移的接触动力学

真实机器人触觉数据的采集成本是规模化的主要瓶颈。DexTouch-WM(arXiv:2609.20649)提出另一条路:从人的触摸中学习。它训练一个动作条件的触觉世界模型,联合预测未来的 RGB 观测与双手的触觉动力学,而训练数据来自人类操作。

这条路线成立的关键假设是:人与机器人在接触动力学上共享可迁移的结构——只要触觉观测与动作空间在某种表示下对齐,接触的物理规律是同一套。人手指按压物体时产生的形变与力,与机器人指尖按压时产生的形变,在「物体被压下去多少、表面多硬」这个层面是相通的;差异主要在传感器形态与动作空间的参数化上。这与第十六篇讲跨具身对齐时的结论一致,可参考 世界模型从零讲起(十六):动作怎么进入模型。

DexTouch-WM 的价值在于把「触觉数据的规模」从「机器人遥操作小时数」转向「人类操作数据的小时数」,后者的量级大得多。但它也继承了一个风险:人的手与机器人的手在尺寸、刚度、接触面积上不同,迁移的误差必须由某种对齐机制承担,否则世界模型学到的接触动力学在机器人上会系统性地偏移。

另一条相近的思路来自 TACO(arXiv:2607.02840)。它把触觉世界模型当作策略后训练的自我纠正器:视觉生成的想象数据常常「看起来对、接触上错」,用触觉世界模型筛掉那些接触不自洽的想象样本,只保留物理上合理的部分去改进策略。这实际上是把世界模型用成了一个数据质量过滤器,与此前讨论「想象训练」时的用法互补,可参考 世界模型从零讲起(十一):Dyna 谱系、PILCO 与复合误差。

一致性从哪里来:跨模态对齐、互预测与生成式触觉

前文各工作都默认「视觉与触觉会在同一个预测器里保持一致」,但一致性并不是免费的,它需要显式的机制。到目前为止,公开工作采用了至少五种不同的做法,理解它们的差别有助于判断一套系统的可靠性来源。

五种做法

  1. 联合预测 + 共享预测器:VT-WM 让一个预测器同时输出两种 latent,两路在每一步都被同一组注意力耦合。一致性的来源是「同一次前向里两个输出共享同样的上下文」。
  2. 共享潜动力学 + 分层监督:FeelWorld 用一个动力学模型预测接触状态、触觉潜变量与滑移状态三个层级,每个都有显式监督。一致性的来源是「层级之间有条件依赖,上层决定了下层是否有意义」。
  3. 力条件预测:TacForeSight 把高频腕部力/力矩作为输入条件,去预测指尖触觉。一致性的来源是「力是接触的物理原因,触觉是结果」,模型在因果方向上建模。
  4. 跨视角注意力 + 多流:ViTacWorld 把主视角、腕部视角、触觉三路流各自编码,再通过跨视角注意力交换信息。一致性的来源是「三路流在同一注意力空间里互相校正」,类似多相机系统的三角化。
  5. 生成筛选用后过滤:TACO 先让视觉世界模型生成想象,再用触觉世界模型判断接触是否自洽,只保留一致样本。一致性的来源是「事后检验」,不在预测器内部。

这五种做法对应五个不同的系统位置:在预测器内(1、2、4)、在条件结构里(3)、在数据管线里(5)。它们的成本与保证强度也不同:内部耦合的保证最弱但最便宜;事后过滤最贵,但可以给出显式的「这条样本不可信」判断。

互预测:用一路去检验另一路

一个值得单独展开的设计是互预测一致性。设视觉潜变量为 ss、触觉潜变量为 tt、动作为 aa,联合模型预测 (s′,t′)(s', t')。一个自然的自洽性检验是:用预测出的 t′t' 去推断 s′s',再用预测出的 s′s' 去推断 t′t',两条路径应当给出相似的结果。形式化地,可以定义

Lcyc=∥gs(t′)−s′∥2+∥gt(s′)−t′∥2,L_{\text{cyc}} = \big\| g_s(t') - s' \big\|^2 + \big\| g_t(s') - t' \big\|^2,

其中 gsg_s、gtg_t 是跨模态的映射(可以是一个共享的投影头,也可以是一个较小的辅助网络)。这一项不要求外部标签,只用模型自己的两个输出彼此检验,因此可以在无标注的真实数据上做自监督训练。

这种循环一致性(cycle consistency)的思路在跨模态学习里由来已久,最出名的是图像-文本-图像与图像-深度之间的循环重建。把它搬到世界模型上有一个额外的好处:它不仅约束「当前的视觉与触觉一致」,还约束「想象的视觉与想象的触觉一致」——也就是 rollout 的每一步。这正是前文讨论的累积误差在跨模态上的版本:若某一步两个模态开始不一致,后续每一步的错误都会被放大。

生成式触觉:从视觉推触觉

另一个方向是生成式触觉:既然学习到了视觉与触觉的联合分布,就可以用视觉去生成触觉。这在数据采集上极具诱惑力——如果能从普通视频生成对应的触觉信号,触觉数据的规模瓶颈就被打破了。

但这条路有一个物理层面的根本困难:视觉观测的是外观,触觉观测的是力与形变。同样的外观(例如一枚硬币平放在桌上)在不同的按压深度、不同的加速度下会给出完全不同的触觉。也就是说,视觉 → 触觉的映射本质上是一对多的,单凭视觉帧无法唯一确定触觉。可行的做法是让「动作」也进入生成条件:

t′∼P(t′∣s,a),t' \sim P\big(t' \mid s, a\big),

即「给定视觉状态与将要执行的动作,生成对应的触觉」。动作提供了「手会以多快、多深地接触」的关键信息,把一对多的映射约束成较确定的分布。这一条件化的思想与 ViTacWorld、TACO 的「动作条件触觉世界模型」是同一个内核。

一致性约束的代价

所有这些机制都要付出代价。共享预测器(做法 1)的成本最低,但当两路 token 数量悬殊时,触觉很容易被视觉「淹没」——注意力预算大多花在视觉 token 上,触觉只能得到很少的建模。分层监督(做法 2)增加了标签需求,需要单独标注接触与滑移状态,而这些标注在真实数据里并不容易自动获得。事后过滤(做法 5)最昂贵,因为它要为每条想象样本跑一次完整的触觉预测。

因此「该用哪种一致性机制」取决于应用:如果世界模型主要用于规划,在预测器内做耦合(做法 1 与 4)就足够;如果世界模型用于生成训练数据,事情就严重得多,因为一条不一致的想象轨迹会污染下游策略,此时需要用做法 2 或 5 的事后检验。

这条线的起点比上面这些 2026 年的工作早得多。2023 年的 Multimodal World Model for Physical Robot Interactions(arXiv:2304.11193)就已经在做「同时预测视觉与触觉」的世界模型,并给出了一条至今仍然准确的判断:

视触觉预测在物理上歧义的交互区间收益最大;当物体动力学本来就可以从视觉推断时,增益自然有限。

这句话是整个方向的适用边界。它不是「触觉总是更好」,而是「触觉在视觉信息不足的区间补位」。这条判断解释了为什么 VT-WM 的增益集中在多步、接触密集的任务上,也解释了为什么 ContactWorld 发现触觉的长程收益不一定转化为成功率——在视觉已经能推断动力学的时段,触觉是冗余的。

从工程角度,这条判断给出了一个可操作的决策规则:先用视觉世界模型跑一遍,找出失败集中在哪些状态;如果失败集中在被遮挡的接触界面,引入触觉;如果失败集中在长时域漂移或全局布局,触觉帮不上忙,该改的是记忆或分层。后者可参考 世界模型从零讲起(十七):记忆不在注意力里。

推理账本:多模态世界模型的每一步花在哪

多模态带来的不只是「多一路输入」,而是四笔额外的开销,必须逐项算清楚。

第一笔:编码器成本

视觉编码器通常是一个重型 tokenizer(ViT 类或视频 tokenizer),触觉编码器相对轻(接触图像分辨率低、通道少),但它们都要在每一步推理前运行一次。设视觉编码器每帧成本为 CvC_v、触觉编码器每帧成本为 CtC_t,那么一步观测编码的成本是

Cenc=NvCv+NtCt,C_{\text{enc}} = N_v C_v + N_t C_t,

其中 NvN_v 是视觉帧数、NtN_t 是触觉帧数。VT-WM 的配置里 Nv=9N_v = 9、Nt=8N_t = 8(四只传感器各两帧),视觉项通常主导。这提示一个优化方向:视觉编码可以降频甚至复用(相邻控制步之间视觉变化小),而触觉编码必须每步都新算,因为它变化快。

第二笔:预测器的 token 数与注意力

预测器的成本随 token 数超线性增长(完全注意力是平方级,因子化注意力则把两个轴分开)。视觉 token 数远大于触觉,所以融合方式的选择很关键:把触觉 token 拼进视觉序列(token 数相加)与把触觉压成一个短的潜序列(token 数几乎不增)在成本上差一个量级。VT-WM 选择后者——触觉先被编码成紧凑状态 tkt_k,再进入预测器。

第三笔:要不要生成未来观测

如果世界模型的用途是规划,那么「生成未来的视觉帧」往往是纯开销。OmniVTA 的推理配置直接跳过视觉生成,只预测触觉。设生成一帧视觉的成本为 CgC_g,一步 rollout 需要 FF 帧,则省掉的成本是 F⋅CgF \cdot C_g 每步。在 4 Hz 的慢策略下,若每步本来要生成 5 帧,这个省略直接把 rollout 的延迟压到原来的几分之一。

一笔示例账:为什么触觉必须走快回路

假设慢策略以 4 Hz 规划(每步 250 ms),触觉传感器以 60 Hz 输出(每 16.7 ms 一帧)。如果触觉也走慢策略的节奏,那么在两次规划之间的 250 ms 里会积累约 15 帧未被处理的接触变化。对滑移这类事件,15 帧足以让物件离开夹爪。这就是 OmniVTA 必须加一个 60 Hz 快回路的定量理由:慢回路负责「往哪走」,快回路负责「手上的力每一刻该怎么调」。

Δtslow=250 ms  ≫  Δttactile=16.7 ms.\Delta t_{\text{slow}} = 250\ \text{ms} \;\gg\; \Delta t_{\text{tactile}} = 16.7\ \text{ms}.

两者相差一个数量级以上,任何把它们放进同一个回路的系统都会在接触事件上失守。

第四笔:多传感器的同步与标定

四只触觉传感器 + 一到两路相机 + 本体感受,意味着四条以上的数据流需要在时间上对齐。真实系统里这些流的时钟不同源、传输延迟不同、丢帧率不同。多模态世界模型训练时必须做时间对齐(例如把触觉按最近邻匹配到视觉帧的时间戳),推理时必须处理「某一帧触觉丢了」的降级路径。这些工程成本在论文里通常只占一小段,但在实际部署里决定系统能不能稳定跑。

局限与仍未解决的问题

触觉只覆盖接触面,它的信息量取决于任务

触觉是局部信息。它无法告诉你远处有没有障碍物,无法判断当前抓的是哪一件物体(除非接触特征本身有辨识度),也无法提供全局的位姿估计。因此一个只依赖触觉的世界模型在结构上是残缺的:它必须在视觉或本体感受的辅助下才能知道「自己在世界的哪里」。VT-WM、ViTacWorld、OmniVTA 都采用「视觉为主、触觉为辅」的结构,这不是偷懒,而是触觉的信息边界决定的。

不同传感器之间不通用

ContactWorld 用三套触觉系统验证结论,这是它对的地方;但也反过来暴露了问题:触觉表征高度依赖传感器。GelSight 的二维 RGB 触觉图、Digit 360 的高分辨率触觉图、Xense 的三维位移场、Daimon 的灰度图,它们的物理含义、分辨率、频率都不同。一个在一种传感器上训练的世界模型,换一种传感器后需要重新训练编码器,甚至重新训练预测器。ViTacWorld 与 OmniVTA 都在尝试用「位移场」这类更传感器的表示来缓解这个问题,但跨传感器的通用表示目前仍未解决。

接触的软硬件非线性

真实接触不是理想的刚体接触。摩擦存在静摩擦与动摩擦的切换、软体会发生滞回、接触面积会随力变化、表面会磨损。世界模型很难从有限数据里学到这些非线性,尤其在不同材质上的表现差异更大。FeelWorld 用显式的接触/滑移状态、TacForeSight 用力条件预测来减轻这个问题,但都没有从根本上解决。

多模态的一致性缺少理论保证

到目前为止,所有系统的「视觉与触觉一致」都是靠训练数据分布与联合预测结构来约束的,没有任何理论保证。在训练分布之外的接触组合上,两个模态可能各自合理而整体矛盾。TACO 用世界模型筛想象样本、ViTacWorld 用跨视角注意力,都是工程层面的缓解,不是理论保证。

数据集仍是瓶颈

OmniViTac 有 21,000 条轨迹,这在视触觉操作数据集里已经很大,但相比纯视觉的规模(数百万小时视频)仍小几个数量级。触觉数据的采集受硬件、传感器、操作者三重限制。从人手采集(DexTouch-WM)或从仿真生成(ViTacWorld)是两条可行的扩张路径,但二者都需要解决迁移误差。

接触任务的时间尺度还没被系统化

视觉世界模型的时间尺度研究(多少帧、多少秒)已经相对成熟,触觉的时间尺度选择目前大多是经验性的:VT-WM 取 0.16 秒,OmniVTA 以 60 Hz 快回路处理,TacForeSight 取短时域预测。为什么是 0.16 秒而不是 0.1 或 0.3?这个选择与接触动力学的时间常数、传感器的频率、控制回路的带宽都有关系,但目前还没有一个统一的框架把这些量联系起来。这是一个值得继续做下去的方向。

实践:如何为接触任务搭一个视触觉世界模型

把前文的分析压成一套可操作的步骤。它不是某篇论文的复刻,而是各篇设计决策的最小共识。

第一步:先确认任务是否值得引入触觉

用视觉世界模型跑一遍,收集失败样本,按前文的分母归类:失败集中在「被遮挡的接触界面」还是「长时域漂移 / 全局布局」?前者值得引入触觉;后者应改记忆或分层结构。OmniViTac 数据集里统计的「触觉活跃比例」是一个现成的量化指标:若一条轨迹中接触时间占比很低,触觉世界模型的大部分输入都是空白,边际收益低。

第二步:选一个直接编码物理量的触觉表征

ContactWorld 的结论是结构化力场优于原始触觉图像,OmniVTA 的结论是三维标记位移优于高分辨率图像,两条结论指向同一个方向:优先使用力、位移、深度这类物理量化的触觉表征,只在传感器不提供这类信号时才退回到原始触觉图。如果传感器输出的是标记位移,就直接用位移网格;如果是 GelSight 类传感器,可以先用一个轻量网络把 RGB 触觉图转换到形变场。

第三步:把视觉与触觉放在各自的时间窗口里

视觉取一个较长的窗口(0.5–1.5 秒),触觉只取最近若干帧(与传感器的频率和控制回路的时间常数匹配)。不要把两者强行对齐到同一帧率:视觉用「最新帧」,触觉用「最近若干帧」,对齐只发生在「控制步」这一层,即每个控制步有一个视觉帧和一个触觉帧。

第四步:在潜空间里融合,不要在像素层面拼接

两路各自用「模态专属」的编码器压缩成低维潜变量,再进入共享预测器。预测器用因子化注意力或轻量交叉注意力,让触觉的 token 数不主导计算量。这样做的直接好处是:世界模型的推理成本主要由视觉决定,而触觉以很低的边际成本提供关键的判别力。

第五步:按用途决定是否生成未来观测

规划用途下,只预测触觉与低维状态,不生成图像;数据生成用途下,两路都要生成,并加跨模态一致性约束(前文「一致性从哪里来」一节的做法 1、2 或 5);评估用途下,按评估指标需要选择要生成的部分。

第六步:给快事件单独配一个高频回路

滑移、碰撞这类事件的时间尺度在十毫秒级。世界模型的慢回路(4–10 Hz)无法及时响应。配一个基于当前触觉与预测触觉的轻量反射器(几十 Hz),只在慢回路的计划之上做小幅修正,就像 OmniVTA 的快策略那样。

第七步:把数据规模从机器人迁移到人与仿真

真实机器人触觉数据少、贵、依赖硬件。可行的扩张路径是从人手的触摸采集(DexTouch-WM 的思路),或从仿真构造视触觉交互(ViTacWorld 的思路),或用已配视觉的公开真实触觉数据集做预训练。无论走哪条,最终都要在目标硬件上做迁移学习,因为接触动力学对传感器与末端执行器很敏感。

小结

世界模型一直是「视觉的」,因为绝大部分可用数据是视频,而视频又天然是二维图像序列。但当任务的关键失败发生在被遮挡的接触界面——抓取、擦拭、插入、旋拧——视觉世界模型就缺少一个决定性的隐变量:接触状态。触觉与本体感受为这个隐变量提供了直接观测通道。

VT-WM 展示了最直接的结构:视觉与触觉分别编码成潜变量,送入共享的 transformer 预测器,联合输出下一步的视觉与触觉 latent,用两个不同时间尺度(1.5 秒 vs 0.16 秒)进入。它在相同动作条件下的对照实验表明,触觉显著改善了物体永存性(平均降低约 33% 的轨迹误差)、因果服从(约 29%),并把零样本规划成功率最多提高 35%。

ContactWorld 进一步指出:表征的选择比「有没有触觉」更重要。点云视觉优于 RGB,结构化触觉力场优于原始触觉图像,点云 + 力场组合取得最高平均成功率。ViTacWorld 把规模化的关键放在仿真与真实数据的混合,利用了触觉的 sim2real 差距更小这一物理事实。OmniVTA 则把视触觉世界模型放进分层控制回路,用「推理时只预测触觉、不生成图像」和「60 Hz 快回路」两个设计解掉延迟问题。

几条贯穿全文的原则:触觉是快过程、局部过程、事件型过程;视觉是慢过程、全局过程、外观型过程;两者必须各走各的时间尺度,在潜空间里耦合而不是在像素层面拼接;世界模型的推理账本里,决定成本的通常不是触觉本身,而是视觉编码与未来观测生成。

下一篇将讨论世界模型的另一种「看不见的输入」——自身身体的状态:本体感受如何被建模成一个可预测的状态量,身体模型与世界模型如何分离又耦合,以及当机器人的身体本身会变化(不同末端执行器、不同关节)时,世界模型如何不推倒重来。

参考资料

  1. Visuo-Tactile World Models(VT-WM,arXiv:2602.06001)
  2. ContactWorld: What Representations Matter for Vision–Tactile Latent World Models in Contact-Rich Manipulation(arXiv:2606.13877)
  3. ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation(arXiv:2607.22530)
  4. OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation(arXiv:2603.19201)
  5. Multi-Modal World Model for Physical Robot Interactions: Simultaneous Visual and Tactile Predictions for Enhanced Accuracy(arXiv:2304.11193)
  6. OmniTact: A Multi-Directional High Resolution Touch Sensor(arXiv:2003.06965)
  7. FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning(arXiv:2607.24267)
  8. TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation(arXiv:2606.11184)
  9. DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation(arXiv:2609.20649)
  10. TACO: TActile World Model as a Self-COrrector for Scalable Robot Policy Post-Training(arXiv:2607.02840)
  11. Cosmos World Foundation Model Platform for Physical AI(NVIDIA,arXiv:2501.03575)
  12. Sparsh: Self-supervised Touch Representations for Vision-Based Tactile Sensing(arXiv:2410.24090)
  13. ContactWorld Project Page

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(二十二):当世界不是用眼睛看到的——触觉、本体感受与多模态状态
https://pinghaoyang.com.cn/articles/insights/posts/visuo-tactile-world-models/
作者
平昊阳
发布于
2026-11-19
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录