正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(二十三):身体也是世界的一部分——身体模型、本体感受与跨形态迁移
承接前二十二篇:还差一个「自身」
这个系列已经从概念走到了跨会话。第一篇把世界模型形式化为 POMDP 里的状态推断与动作条件预测;第二到第五篇拆了 Dreamer、JEPA、视频生成模型与 WAM 四条路线;第六到第九篇算了评测、部署、规划与推理系统的账;第十篇把账算到了 CMOS 能耗下界;第十一到第十四篇补上了 Dyna、几何、物体中心与分层;第十五篇把所有杠杆汇总成一张预算地图;第十六篇讲动作怎么进入模型;第十七篇讲长程记忆;第十八篇讲多个入口共享同一个世界;第十九篇把误差放进闭环;第二十篇讲跨会话的状态迁移;第二十一篇把物理结构写进网络;第二十二篇把触觉与本体感受第一次带进预测器。
这二十二篇共享一个隐含假设:动作直接改变世界。世界模型学的是 P(st+1∣st,at),好像 at 一发出,世界的状态就按这个条件分布跳一步。论文里的动作张量也确实长得像这样:一个低维向量,喂进网络,网络吐出下一帧潜状态。
但这个假设在真实机器人上不成立。动作是一个意图,它先经过电机、减速器、连杆、关节间隙与控制器,才变成末端执行器的实际运动;再由实际运动去推动世界。中间这一段——机器人自己的身体——有自己的动力学、自己的参数、自己的延迟,还会因为换末端执行器、加负载、磨损甚至断腿而改变。把这一段吸收进「世界」里,世界模型学到的就是「这台机器人在这个状态下会怎样」,而不是「这个世界会怎样」。
第二十二篇结尾已经点出了这条线:本体感受是唯一一个既当输入又当预测目标的模态,而身体变化时世界模型必须把「身体」与「世界」拆成两部分(可参考 世界模型从零讲起(二十二):当世界不是用眼睛看到的)。这篇就把这层拆开讲透:身体模型是什么、本体感受为什么是可预测量、自我建模如何让机器人认识自己的形状,以及换一套硬件之后哪些部分能留、哪些必须重估。
先给结论轮廓:世界模型负责「我的动作会让世界怎么变」,身体模型负责「我发出的指令会让我的身体怎么动」。两者串成一条因果链,串起来才是完整的「动作条件预测」。把两者分开建模,换硬件时只需要重估一个低维参数向量或换一个小的身体网络,世界分支可以不动;把两者合在一起,换硬件等于换了一个世界,之前学到的物理先验全部作废。代价是:身体模型必须在线辨识参数,必须处理频率与延迟的错位,还必须面对「世界变了还是身体变了」这个归因难题。
动作从来不是直接作用在世界上的
三段因果链
把一次控制拆成三段。第一段是决策:策略根据观测与目标,输出一个指令 ut,比如「六个关节各转 0.02 弧度」或「末端沿 x 方向走 1 厘米」。第二段是身体响应:电机与控制器把这个指令变成实际的本体状态 bt+1,包括关节角、关节速度、末端位姿、夹爪开度。第三段是世界响应:末端执行器与物体接触,把本体状态的变化传递成环境状态的变化 st+1。
写成两个转移函数:
bt+1=B(bt, ut; θt)+ξtst+1=W(st, bt, bt+1)+ωtB 是身体模型(body model),W 是世界模型(world model),θt 是身体参数向量,ξt 与 ωt 是两段各自的噪声。注意 W 的输入是实际发生的本体状态,不是指令 ut——世界只认「手真的到了哪里、以多快的速度到」,不认「我本来想让手去哪」。这条区别是整个分解的关键。
很多论文里的世界模型实际上学的是复合函数 W∘B:输入指令,输出下一帧。这在数据固定、硬件固定的数据集上是可行的,因为 B 是常数,可以被 W 吸收。但只要 B 一变,复合函数就失效,而失效的方式非常隐蔽——模型不会报错,它会继续输出看似合理但物理上错误的预测。
把身体吸收进世界模型的三个后果
第一个后果是分布外泛化被悄悄破坏。同一个桌面任务,用六自由度机械臂采的数据训练,换成一个七自由度冗余臂,即使末端轨迹完全一样,关节空间的动作分布也完全不同。若世界模型以关节指令为输入,它见到的输入维度、取值范围、关节语义都变了,必须重新采集大量数据。而如果世界模型以末端位姿与夹爪状态为条件,身体的变化就被隔离在身体模型里。
第二个后果是归因错误。机器人在湿滑地面上打滑,或者电池电压下降导致同一指令的实际转速变慢,这两种情况下世界模型的预测都会偏。如果模型把「身体响应变慢」学进了「世界动力学」,它会认为「这个世界的摩擦变大了」。之后的规划会系统性地补偿一个不存在的世界属性,而且这个偏差会随身体状态漂移。分开建模之后,身体模型的预测误差可以直接指向「身体参数变了」,世界模型的误差才指向「世界变了」。这是一个可诊断性问题,不只是精度问题。
第三个后果是闭环增益算错。第十九篇讨论过延迟如何吃掉环路增益预算:控制回路里每多一步延迟,可用的反馈增益就要降低一截。如果世界模型把身体延迟当成世界惯性的一部分,规划器就会误判「这个系统反应慢是因为物体重」,从而给出错误的提前量与增益。真实原因可能只是电机响应慢了 40 毫秒。
一个具体的数值例子
设控制频率 30 Hz,即每步 33 毫秒;从发出指令到关节实际到位有 80 毫秒延迟,约 2.4 个控制步。又设机械臂末端在 0.2 秒内要跟踪一条 5 厘米的直线。
如果世界模型直接以指令为输入且没有显式的延迟建模,它学到的映射是「这条指令序列对应这条末端轨迹」,训练时两者是同步采样的,延迟被吸收进了映射本身。部署时若换了控制器、延迟变成 40 毫秒,同一个映射就会产生提前 1.2 步的动作,末端轨迹出现超调。超调量取决于速度:v=5 cm/0.2 s=25 cm/s,1.2 步约 40 毫秒,位置偏差约 25×0.04=1 厘米。对于插孔、拧螺丝这类任务,1 厘米已经足以失败。
这个例子说明:身体模型不是「更精细的仿真」这种锦上添花的东西,它承担的是把指令空间与物理空间对齐的职责。没有它,世界模型学到的时序关系是硬件相关的,无法迁移。
身体模型的三种形态
身体模型要回答的问题只有一个:给定当前本体状态与指令,下一刻的本体状态是什么。回答方式有三种,分别对应三种精度、成本与数据需求的组合。
形态一:解析模型——运动学与刚体动力学
最古老也最可靠的做法是把身体当成一组刚体,用牛顿-欧拉方程写出来。
正运动学(forward kinematics)回答「关节角为 q 时,末端在哪」。对一条串联链,把每个关节的变换矩阵连乘:
0Tn(q)=i=1∏ni−1Ti(qi)i−1Ti(qi) 是第 i 个关节相对上一个连杆的齐次变换,由连杆长度、关节轴线、关节角共同决定。qi 是第 i 个关节的转角,n 是自由度。这条式子不需要任何数据,只要知道连杆几何就能算,而且计算量极小:一个六自由度臂的正运动学在 CPU 上通常只要几微秒。
刚体动力学回答「施加力矩后,关节会怎样加速」:
M(q)q¨+C(q,q˙)q˙+g(q)=τ+J⊤(q)fextM(q) 是惯性矩阵,描述了各关节加速度之间的耦合——转动一个关节会让整条链的等效惯量变化,所以 M 依赖当前构型。C(q,q˙)q˙ 包含科氏力与离心力项,在高速运动时不可忽略。g(q) 是重力项,低速时占主导。τ 是关节力矩,J⊤ 把末端受到的外力 fext 映射回关节力矩。
解析模型的价值在于它是先验,而不是学习结果。它不需要训练数据,换一台几何相同但质量分布不同的机器,运动学部分照样准确;它也不会外推到物理上不可能的状态。在工业机器人上,解析模型加上参数辨识已经能把轨迹误差压到毫米以下。
但它有三个明确的失效面。第一,摩擦与传动非线性:减速器的摩擦不是简单的库仑项,而是依赖速度、负载与温度的复杂函数,谐波减速器还有迟滞。第二,柔性:长连杆、皮带、绳索驱动都有弹性,刚体假设在高动态下失效。第三,执行器动力学:电机有自己的电气时间常数、电流环带宽、饱和与死区,指令到力矩的映射不是瞬时的。这三块恰好是数据驱动方法擅长的部分,也是残差模型要补的部分。
形态二:学习的正模型与逆模型
纯学习的做法是直接拟合一个神经网络 fφ:
b^t+1=fφ(bt,ut)优点是它能把摩擦、柔性、执行器非线性一起吸收,不需要显式建模。用几十分钟的真实交互数据,一个两三层的 MLP 就能把某台四足机器人的关节响应预测得相当准。DayDreamer 这类工作之所以能让机器人在一小时内学会行走,一个关键前提就是世界模型里包含了足够准的本体响应预测。
缺点是外推能力差。神经网络在训练分布内插值得很好,一旦遇到没见过的负载、没见过的地面、或者关节到了限位,预测会系统性地偏,而且偏移是静默的——它不会告诉你「我不确定」。纯学习模型还需要覆盖整个状态空间的数据,而真实机器人不可能为每个负载组合都采一遍。
逆模型 ut=gφ(bt,bt+1) 看起来更直接:给定想要的下一刻状态,反推指令。但逆模型有一个结构性缺陷:对冗余臂或多解构型,同一个状态转移可能对应多组指令,逆映射是多值的。用这样的模型做规划,规划器会在多个解之间抖动;而且在奇异点附近,逆映射的雅可比会爆炸,输出巨大的指令。正模型没有这个问题:给定指令算状态是单值的,规划器可以放心地在指令空间里搜索。
形态三:残差模型——解析骨架加学习补丁
工程上最常用的是第三种:保留解析模型作为骨架,只用一个小的网络学残差。
b^t+1=Banalytic(bt,ut;θ)+fφ(bt,ut)Banalytic 是刚体动力学加执行器的一阶模型,θ 是已经辨识过的身体参数,fφ 只负责补上解析模型没覆盖的部分。这个结构的价值可以用一句话概括:残差越小,学习问题越简单。如果解析模型已经解释了 90% 的方差,网络只需要拟合剩下 10%,样本效率会比纯学习高一个数量级,外推时也有解析部分兜底。
Residual Policy Learning 在策略层用过同样的思路:用一个解析控制器做基础策略,再学一个残差策略去修正它。身体模型上的残差结构是同一个思想在动力学层的对应,区别在于残差策略修正的是动作,残差动力学修正的是状态预测。
残差模型的工程难点在于残差必须真的是小量。如果解析模型的参数错了——比如负载质量估错了一倍——残差就会变成大信号,网络实际上在重新学整个动力学,这时残差结构的优势全部消失,还多了两层复杂度。所以残差模型的前提是先做参数辨识。
参数辨识:把身体压缩成一个向量
不管用哪种形态,身体里总有一组慢变参数需要估计:连杆质量、质心位置、惯性张量、关节摩擦系数、电机增益、控制延迟。把这组参数记作 θ∈Rp,身体模型的精度很大程度上取决于 θ 估得准不准。
刚体动力学对惯性参数是线性的,这是参数辨识能成立的根本原因。把动力学方程整理成:
τ=Y(q,q˙,q¨)θinertial+τfrictionY 叫回归矩阵(regressor),只依赖运动学量与加速度,不依赖质量分布;θinertial 是十维的连杆惯性参数向量(质量、三个一阶矩、六个惯性张量分量)。于是辨识变成一个线性最小二乘问题:
θ^=(Φ⊤Φ)−1Φ⊤y其中 Φ 是把整段激励轨迹上每一时刻的 Y 堆叠起来的大矩阵,y 是对应的力矩观测。这个式子有闭式解,但直接求逆在数值上很脆弱,工程上用 QR 分解或带正则的版本。
这里有一个常被忽略的事实:不是所有惯性参数都可辨识。Y 的列之间存在线性相关,只有落在列空间里的组合能被数据确定,这些组合叫基参数(base parameters)。对一条典型的串联臂,可辨识的基参数数量明显少于 10n,有些连杆的独立质量根本无法从关节力矩反推——它和相邻连杆的质量以一种只影响总质心的方式耦合。强行估计全部参数会得到一个条件数极大的最小二乘问题,解对噪声极其敏感,看起来拟合得很好,换一条轨迹就崩。
要让辨识有意义,激励轨迹必须充分激励:关节要走到不同的构型、要有不同的速度与加速度,让回归矩阵的列尽可能线性无关。一条缓慢的、各关节独立摆动的轨迹,条件数会很难看;工程上会用优化方法设计激励轨迹,让 Φ 的条件数最小。
在线场景下用递推最小二乘(recursive least squares,RLS),每来一个观测就更新一次:
Kt=λ+ϕt⊤Pt−1ϕtPt−1ϕt,θ^t=θ^t−1+Kt(yt−ϕt⊤θ^t−1)Pt=λ1(I−Ktϕt⊤)Pt−1ϕt 是当前时刻的回归向量,Pt 是参数协方差(近似),λ∈(0,1] 是遗忘因子。λ=1 时等价于对所有历史等权,适合恒定参数;λ<1 时旧数据指数衰减,能跟踪缓慢漂移,比如电机发热导致的增益变化。遗忘因子选得太小,估计会追着噪声跑;选得太大,换了负载之后要很久才收敛。这是一个典型的偏差-方差权衡,没有通用最优值。
参数辨识的另一个用途是故障检测:当某个参数突然偏离历史区间,比如某个关节的摩擦系数翻倍,往往意味着减速器磨损或润滑失效。身体模型在这里不只是预测器,还是机器的体检报告。
本体感受作为可预测的状态量
第二十二篇指出:本体感受是唯一一种既作为输入、又作为预测目标进入世界模型的信号。这一节把这层关系讲清楚,因为它决定了身体模型的输入输出接口。
「身体在哪里」与「身体想去哪里」
设某一时刻来自编码器的读数是 bt=(qt,q˙t,pt,Rt):关节角、关节速度、末端位置、末端旋转。四个量在因果链上的位置并不相同。
qt,q˙t 是身体内部状态,直接由关节编码器给出,是身体模型的自然状态变量。pt,Rt 是末端位姿,由正运动学从 qt 算出,是对世界发生作用的那个点。这两个量之间隔着一层运动学,而这层运动学是身体的几何结构,不是世界的属性。
动作 ut 与本体感受的关系可以写得更精确。指令如果是关节位置目标 q⋆,身体响应是:
qt+1=qt+Δk(1−e−h/τ)(q⋆−qt)+ηt这里 h 是控制周期,τ 是关节闭环的等效时间常数,Δk 是增益修正,ηt 是噪声。这个一阶形式当然过度简化,但它把身体响应中最关键的两个参数摆了出来:时间常数 τ 决定延迟,增益 Δk 决定最终能到位多少。同一个指令,在 τ 从 20 毫秒变成 60 毫秒之后,响应轨迹会完全不同;在负载增加之后,Δk 会下降,到位不足会出现稳态误差。
这两个参数都不是常数。τ 随温度、负载惯量、力矩饱和而变化;Δk 随电池电压、摩擦、机械间隙而变化。一个身体模型若只给出「关节会转」,而不给出「会以多快的时间常数转、会转到位多少」,它在规划里就等价于假设了一个理想执行器。
预测本体感受的三种用途
本体感受作为预测目标,在系统中至少有三个用途。
第一,闭环检查。世界模型与身体模型串起来 rollout 一步,预测出的 q^t+1 可以与下一时刻真实的 qt+1 比较。这个残差是零成本的、每步都有的监督信号。真实机器人上,这个残差能直接暴露「身体参数漂移了」还是「世界接触了意外物体」——前者残差在各关节上系统分布且与指令相关,后者残差集中在与物体接触的那几个关节。
第二,动作对齐。策略输出的是指令,控制器执行的是指令,世界模型需要的却是实际发生的末端运动。身体模型把指令翻译成预测的本体状态,世界模型再基于预测的本体状态去预测世界。若这一步缺失,后面所有时序关系都在错误的坐标系里。
第三,安全边界。身体模型知道哪些本体状态物理上可达:关节限位、速度上限、自碰撞。规划器在被喂进世界模型之前,先用身体模型筛掉不可达的候选动作,可以避免世界模型去评估「根本做不出来」的动作。第十九篇讨论环路增益时提到的「不过模型的旁路」,在身体这一层就是这条安全筛。
频率与延迟:两个必须显式处理的量
本体感受的采样频率通常高于视觉一到两个数量级。关节编码器可以 500 Hz 到 1 kHz 读数,控制回路 100 Hz 到 1 kHz,而世界模型的视觉输入往往只有 10 到 30 fps。这意味着在一个视觉帧之内,身体已经响应了十几次。
做身体模型时不能把这些高频读数直接降采样进视觉时间轴,否则延迟被抹平、抖动的真实结构全部丢失。常见做法是保持两条时间轴:身体模型按控制频率更新,世界模型按视觉频率更新,两者之间用时间戳对齐,世界模型的条件里带一个「到上一帧为止本体的实际增量」。第十六篇讲动作分块时提到块边界处的缝,其实缝的根源就有一半在这里:块内多步动作的身体响应被一次性地、粗粒度地喂给世界模型。
延迟还有一层是传感器与执行器的非对称。编码器读到的是已经发生的状态,指令发出到生效有延迟;若身体模型用「当前 q 加上新指令」预测下一刻,就等于假设零延迟。工程上的处理是把延迟 δ 显式建模成一个延迟队列:预测 bt+δ+1 时,用的是 δ 步之前发出的指令。这个队列的长度必须在部署时测量,而不是从数据手册抄——控制器内部缓冲、总线传输、驱动环路都各贡献几毫秒,合起来往往比手册写的多一倍。
身体结构的先验:把形态写成图
身体模型除了动力学,还有结构。一个六足机器人的腿是六条并行支链,一条七自由度臂是串联链,一个灵巧手是五根手指各带若干关节。这个结构不随任务变化、不随数据变化,是硬件出厂就确定的信息。把它显式写进策略或身体模型的结构里,就是给模型一个形态先验(morphology prior)。
Body Transformer:把身体写成图,把图写成注意力掩码
Sferrazza 等人在 2024 年发表的 Body Transformer(BoT,arXiv:2408.06316)给出了一个非常干净的做法。把机器人身体表示成一张图:每一条观测通道(某个关节的角、某个电机的指令、某个 IMU 的读数)对应一个节点,每一条物理连接——同一条腿上的相邻关节、与躯干相连的腿根——对应一条边。

上图是 BoT 的整体架构。左侧是机器人本体图的示意,每条腿从躯干一路延伸到小腿,各节点按身体部位命名;中间是 tokenizer、Transformer 与 detokenizer 三段。tokenizer 把低维观测切分后投影到各节点,编码器在图上传播信息,detokenizer 再把每个节点的输出解码成对应执行器的动作。这个设计让「哪个传感器与哪个执行器有关」成为模型结构的显式部分,而不是让网络从数据里自己猜。
具体到注意力,标准 Transformer 的 QK⊤ 对所有 token 对都给出分数,模型不知道腿部某个脚的触地传感器只和那条腿的膝关节相关。BoT 引入一个本体掩码(embodiment mask):
M=In+AIn 是单位阵(每个节点总能看到自己),A 是本体图的邻接矩阵。把 M 作为加性掩码放进注意力:
Bi,j={0,−∞,Mi,j=1Mi,j=0,Attention(Q,K,V)=softmax(dkQK⊤+B)VBi,j=−∞ 的位置在 softmax 之后权重为 0,等价于不允许节点 i 看节点 j。每一层都只允许「自己 + 直接邻居」,信息就沿着图结构一层层扩散:浅层节点主要看到局部信息,随着层数增加,池化范围逐步覆盖更远的节点,最后躯干节点拿到全身的状态汇总。

上图把构造过程摆得很清楚。左边是本体图,节点间连线就是物理连接;右上是一张 10×10 的邻接矩阵,有连线的位置填 1;右下的掩码是把单位阵叠加上去,于是每一行都保证对角线为 1,其余按邻接关系。掩码矩阵的非零位置非常稀疏,这正是它的计算收益来源。
论文比较了三种变体:BoT-Hard 每层都用掩码;BoT-Mix 交替使用掩码层与普通注意力层,让模型既能保持局部结构又保留全局混合能力;BoT-Soft 学习一个基于图上最短路径的可学习偏置矩阵,是介于两者之间的柔性版本。消融显示,随机掩码(打乱图的连接关系但保持稀疏度)明显不如真实本体掩码——提升来自结构本身是对的,而不是来自稀疏化。这一点很重要:它说明「身体结构」携带的是真实信息,随便一个同等稀疏的图代替不了它。
BoT 的收益体现在三个方面。模仿学习上,同一参数量下 BoT 在训练片段与未见验证片段上的跟踪误差都低于 MLP 和标准 Transformer,并且验证集上的差距更大,说明形态先验改善的是泛化而非记忆。强化学习上,BoT 作为策略网络也能超过 MLP 与标准 Transformer 基线。计算上,由于掩码使得注意力矩阵大部分为 0,作者改写缩放点积的实现来跳过被掩掉的块,报告运行时提升接近 200%——这条对部署很重要:身体结构不只是学得更好,也让计算更便宜。
BoT 的对象是策略而不是世界模型,但它的思路对世界模型完全适用。如果把世界模型的每个预测输出——每条腿的位置、速度、接触力——也写成节点,本体图同样可以作为它的结构先验。事实上第二十一篇讨论的粒子图网络,与 BoT 是同一种「先验写进结构」的思想在不同粒度上的体现:一个是粒子级的关系,一个是关节级的关系。
可学习形态先验与固定形态先验
固定掩码有一个明显弱点:掩码依赖具体的身体结构。一台四足机器人有一套图,换成双臂就完全不同,BoT 的掩码要重画。更柔性的做法是把图结构作为输入特征而非硬约束:把邻接矩阵、最短路径矩阵或关节类型编码成额外的 token 或偏置,让模型在给定图上学会如何使用它。
这两者的取舍是清晰的。固定掩码表达力受限于「只看邻居」,但计算便宜、样本效率高、不会学错;可学习偏置表达力更强,能学到非局部的耦合,但需要更多数据、更慢收敛,而且一旦结构输入有误,模型会把错误吸收进偏置里。在数据量少、结构清晰时用前者;在多形态混合训练、结构复杂时用后者。
结构不只可以当掩码:螺旋算子与可回归的形态编码
掩码是一种离散的结构先验:它只说「谁与谁相连」。2026 年 11 月的 Body Schema Policy(BSP,arXiv:2611.22713)给出了更细的写法。它把关节与连杆都变成 token 挂在本体图上,再用一个神经螺旋算子(Neural Screw Operator)沿父子关系传播连杆特征。每条边对应一个可学习的螺旋运动——绕某条轴的旋转加上沿该轴的平移,这正是刚体变换的指数坐标形式。相比硬掩码,它多提供了「连接处的相对运动是什么形式」这一层信息。
这个先验直接服务于动作生成。BSP 把当前带噪的动作块作为本体图式的初值,让图式在去噪过程中反复更新,每个动作坐标由对应的身体 token 条件化;视觉侧则由身体 token 作为查询去检索预训练编码器的图像块。论文报告在 100 步的去噪预算下,只用前 5 步就足以得到可用动作。这个结果的含义是:身体结构先验把「动作必须与身体一致」这件事从数据里省掉了,去噪不必把预算花在纠正物理上不可能的动作上。
DMAP(arXiv:2209.14218)处理的是另一个方向:身体本身会变。它用分布式形态注意力把每条肢体独立编码,再通过注意力在肢体之间路由信息,论文展示了形态编码可以从交互经验中回归出来,并且在腿被加长或被移除时策略仍能工作。这与自我建模是同一件事的两种说法:一个从数据里恢复形态编码,一个用形态编码去条件化策略。
形态先验进入世界模型的具体位置
把上一节的结构和世界模型的三段因果链对应起来,形态先验至少可以放在三个位置:
- 输入编码处:把本体观测按节点编码,使得世界模型的条件向量有明确的物理含义,而不是一个被打乱顺序的长向量。关节顺序一旦错乱,同一个模型看到的两条轨迹完全无法比较。
- 注意力处:用本体图约束 token 之间的信息流,让一条腿的预测主要受到那条腿的观测影响,避免跨腿信息污染。
- 输出解码处:每个输出节点只解码到对应执行器或对应身体部位,减少输出相互干扰。
这三处各自独立,合起来才算把身体结构完整写进模型。很多实现只做了第一处(把观测切分),结果注意力层还是全连接,结构信息只在 token 化那一步得到体现,收益有限。
没有 CAD 的时候:机器人如何认识自己的身体
上面几节都假设身体结构是已知的:连杆长度、关节轴线、质量分布写在设计文件里,直接拿来做运动学与辨识。这个假设在工业场景成立,在研究型机器人、软体机器人、被改造过的机器人上经常不成立。机器人被撞弯了一根连杆、换了一个 3D 打印的末端、绑上了一块配重,CAD 文件不会自动更新。
自我建模(self-modeling)研究的就是这个问题:机器人不依赖外部图纸,只靠自己的传感器与执行器,学出一个能预测自身状态的模型。
自我模型不是身体模型的一个特例
两者容易混。身体模型可以是外部给定的:工程师测量、辨识、写进参数表。自我模型强调的是获取方式——模型是机器人自己通过试错建立起来的,而且建立过程不需要人告诉它「你有几条腿、腿有多长」。
Bongard、Zykov 与 Lipson 在 2006 年发表在 Science 上的工作给出了一个标志性的演示(DOI: 10.1126/science.1133687)。他们用一台四足机器人做实验:机器人不断地建立「电机指令到传感器读数」的映射,这个映射就是它的自我模型。当一条腿被移除后,机器人不需要被告知哪条腿坏了,它继续用同一套建模流程更新模型,模型预测与真实读数之间的残差把异常暴露出来,随后它在这个更新后的模型里搜索新的步态,重新学会行走。整个过程没有一个人工编写的故障诊断规则。
这个演示的意义不在于「机器人会走路」,而在于身体的变化被表达成了模型参数的变化。损坏没有被当成一个特殊事件处理,而是被当成一次普通的模型更新。这正是把身体从世界中分离出来的价值:世界没有变,变的是身体,所以只需要更新身体那一部分。
从「预测传感器」到「预测三维形状」
2019 年,Kwiatkowski 与 Lipson 在 Science Robotics 上发表了「Task-agnostic self-modeling machines」(DOI: 10.1126/scirobotics.aau9354)。论文摘要写得很直接:一台机器人在没有物理先验、也不知道自己形状的前提下建立了自我模型,并用这个模型执行任务、检测自身损伤。这里的关键词是 task-agnostic——模型不是为某个任务定制的,而是先有一个通用的自身模型,再拿它去做不同的事。
2022 年,Chen、Kwiatkowski、Vondrick 与 Lipson 把这条线推进到视觉(「Fully body visual self-modeling of robot morphologies」,Science Robotics,DOI: 10.1126/scirobotics.abn1944)。机器人用相机观察自己运动时的样子,从画面里学出自己的形态与运动学,得到一个可以回答「我这样动,手会到哪里」的模型。2025 年 npj Robotics 上的「Egocentric visual self-modeling for autonomous robot dynamics prediction and adaptation」(DOI: 10.1038/s44182-025-00031-6)继续沿这个方向,把自我模型用于动力学预测与适应。
这条路线与本文前面讲的解析身体模型是互补的。解析模型给出的是结构化的先验:只要几何正确,运动学就精确。自我模型给出的是获取手段:几何未知时,用数据把几何补出来。工程上更常见的组合是「粗略 CAD + 自我建模修正」——先用图纸搭一个骨架,再让机器人在运行中修正连杆长度与关节零位。
一个可落地的多模态版本:GeMuCo
2024 年的 GeMuCo(Generalized Multisensory Correlational Model for Body Schema Learning,arXiv:2409.06427)把身体图式学习做成了一个可训练、可在线更新的框架。它对视觉、本体感受、触觉多路信号做相关性建模,网络里有两组关键变量:掩码变量(mask variable)决定哪些输入与哪些输出相关,参数偏置(parametric bias)是一组低维的自身体参数。训练时,掩码学出身体的结构——哪路感官对应哪个部位、哪个指令影响哪个关节;参数偏置学出当前的体态与工具状态。运行时参数偏置可以在线更新,于是抓取状态变化、工具切换、身体负载改变都能被同一套机制吸收。
论文演示了三类任务:考虑抓取状态在线变化的工具末端控制、肌腱驱动肌骨人形机器人的全身控制、低刚度人形的全身工具操作;此外还用预测误差做异常检测。它对工具的处理尤其值得注意:工具不是被当成世界的一部分,而是通过参数偏置并入身体图式。抓取点变了、工具滑了,更新的是身体参数,而不是世界模型。这与后面关于工具的结论一致:工具是身体的临时延长,而不是世界的一部分。,并且给出了可操作的实现路径。
自我建模的代价
自我建模不是免费的,代价有三项,而且都不小。
第一,探索成本。要学出自己的形状,机器人必须动起来,而且必须动得足够多样。一个只会原地轻微摆动的机器人学不到腿长;一个动作幅度过大的机器人可能撞坏自己。探索策略要在信息量与安全性之间取平衡,这本身就是一个控制问题。
第二,样本效率。从零学一个形态模型需要的交互次数远多于参数辨识。参数辨识只需要估计十来个参数,自我建模却要同时确定结构、运动学与动力学。这就是为什么自我建模目前更多出现在实验室的四足、软体、模块化机器人上,而不是产线上的机械臂。
第三,不可解释的失败。解析模型出错时,你能定位到是哪个连杆长度写错了;自我模型出错时,你只有一个变差的预测误差,很难说清是形状估错、关节零位偏了、还是动力学没学到。可解释性的损失在安全相关场景里是要付代价的。
一个实用的中间层:把结构当隐变量
把两头折中,可以得到一个很实用的做法:结构给一个粗模板,把差异当成隐变量。模板规定「有四条腿、每条腿三个关节」,具体每条腿多长、关节零位多少,作为隐变量在线估计。
这样做的收益是双重的。搜索空间被模板约束住了,样本效率比从零自我建模高得多;同时保留了适应能力,换腿、弯曲、加配重都能被隐变量吸收。在实现上,隐变量可以是可微的连杆长度参数,通过预测本体感受的误差反传更新;也可以是离散的模板选择,用几个候选结构分别预测、取误差最小的那个。
这个中间层与第二十一篇的物理结构先验是同一个思路:不要把已知的结构丢掉,也不要把未知的部分硬编码。已知的写进骨架,未知的留给数据。
换硬件为什么不推倒重来
回到最初的动机:换末端执行器、换关节、加负载之后,世界模型要不要重训。答案取决于分解做到了哪一层。可以清楚地分成三层,每层的迁移成本差一个数量级。
第一层:动作接口对齐
第十六篇详细讲过动作空间与跨具身对齐。这一层解决的是「不同身体说同一种语言」:把关节空间、末端空间、归一化、分块频率统一到一套接口上。做完这一层,同一份数据可以被不同身体使用,但模型本身仍然认为动作直接改变世界。它的隐含假设是「同样的指令在同样的观测下产生同样的效果」,一旦两台机器的动力学不同,这个假设就破了。
所以接口对齐是必要条件,不是充分条件。它能让你把数据混在一起训练,但不能让模型理解「为什么混在一起之后效果变差」。
第二层:身体参数适配
第二层是把身体显式建模,并在换硬件时只更新身体部分。这也是 RMA 这类工作解决的问题,虽然它们的动机是地形与负载而不是换硬件。
RMA(Rapid Motor Adaptation,arXiv:2107.04034)把部署时的适应拆成两个阶段。第一阶段在仿真里训练一个基策略,训练时给它「特权信息」:地形高度、摩擦系数、机身质量、质心位置、电机强度。这些量在真实机器人上无法直接测量,但在仿真里是已知的,于是策略学会了「在这些条件下该怎么走」。第二阶段训练一个适应模块,输入是最近一小段本体感受与动作的历史,输出是对这些隐参数的估计。

上图左侧是第一阶段,仿真环境把地形高度、质量与质心、摩擦、电机强度这些特权变量喂给基策略;右侧是第二阶段,适应模块从 t 到 t−1 的本体感受与动作历史回归出这些量的估计,基策略改为使用估计值。部署时不需要任何特权信息,适应模块在线运行。
用符号写出来更清楚。设身体与环境的隐参数为
θ=(θintrinsic, θextrinsic)内在参数 θintrinsic 包括机身质量、质心、电机强度——属于身体;外在参数 θextrinsic 包括地面摩擦、地形高度——属于世界。适应模块学习
θ^t=μψ(ot−k:t, at−k:t)μψ 是一个小网络,k 是历史窗口长度,通常几十步。基策略则变成 π(at∣ot,θ^t)。关键在于 θ^t 是在线估计的,机器人不需要停机做标定,走几步就能估出来。
RMA 的贡献不在于某个具体网络结构,而在于它示范了一件事:身体与环境的慢变参数可以从本体感受的历史中被在线辨识,而且这个过程可以在仿真里训练、零样本迁移到真实机器。负载变化、地面变化、电机衰减,在这套框架里都是同一个估计问题的不同分量。
把 RMA 的思路搬到世界模型上,就得到第二层的完整形态:世界模型以本体状态与身体参数为条件,身体参数由适应模块在线估计。换一个末端执行器,初始化一组新的身体参数,让适应模块收敛几十步,世界模型不需要重训。前提是世界模型在训练时见过参数的变化——如果训练数据里身体参数从头到尾是常数,模型会把它当成世界的固定属性,换参数就失效。所以训练时必须做参数域随机化,让身体参数成为显式的条件变量。
第三层:世界分支完全不动
第三层是理想形态:世界模型学的是「物体怎么动、接触怎么传力」,身体模型学的是「指令怎么变成末端运动」,两者通过末端位姿与接触力耦合。换硬件时只换身体模型,世界模型一行不改。
这一层能成立的条件比想象中苛刻:
- 接触必须发生在共同的接口上。如果换的是夹爪,接触几何变了,世界模型对「夹爪如何抓取物体」的预测就失效——因为抓取本身是身体与世界交界处的事件。换的是轮子还是腿,接触模式完全不同,世界模型不可能不动。
- 末端位姿必须是世界模型的条件。若世界模型以关节角为条件,换连杆长度就改变了关节角到位姿的映射,世界模型无法解释。这是第十六篇强调动作空间选择的原因之一。
- 身体动力学不能反过来改变世界的物理。工具是一个例外:拿上锤子之后,「身体」的惯量分布变了,工具还直接参与碰撞。这时工具必须被当成身体的临时延长,见下一节。
所以第三层并不是普适的。它对「换一个同构的末端、换一台几何相近的机器」成立,对「从两指夹爪换成五指手」不成立。工程上要判断的是:这次硬件变更影响的是身体内部的传动,还是身体与世界的接触界面。前者可以隔离,后者必然耦合。
形态条件世界模型的一个实例
2026 年的 Morphology-Conditioned World Model(arXiv:2604.08780)把「共享主干 + 形态条件」这条路直接走到了世界模型上。它不把形态当成需要从交互历史里推断的隐变量,而是从机器人的 USD 描述里确定性地提取一组归一化、尺度无关的特征:
μ=Φ(U)∈RdU 是 USD 里的机器人规格,Φ 把运动学、几何与动力学属性压成一个特征向量。具体特征包括支撑多边形的长宽比、对数缩放后的总质量、躯干质量占比等;论文给出的对照是 Spot 的支撑长宽比约 5.42(窄体),ANYmal-B 约 2.39(接近方形站姿)。这些量直接参数化刚体动力学里的杠杆、稳定裕度与转动惯量,因此世界模型的编码器能区分「腿更长但更轻」与「腿更短但更重」这两类形态。
质量项用 log(1+Mtotal) 而不是原始值,原因是量级跨度太大:Unitree A1 约 12 千克,B2 约 80 千克,线性尺度会让质量维度主导梯度。取对数之后,不同量级的机器人在同一尺度上可比。这个细节看起来只是工程技巧,实际决定了多形态训练能不能收敛。
关键设计是确定性映射而非隐变量推断。形态在部署时通常是已知的——买的是哪台机器、USD 就在那里,没必要让模型从几十步交互里猜。把已知量直接喂进去,既省样本又可解释。这与自我建模形成互补:有图纸时用 Φ,没图纸时用交互推断;两者可以同时存在,前者作先验,后者作修正。
一个分层的迁移策略
把三层合起来,可以得到一个可操作的迁移流程:
- 先检查动作接口是否一致。不一致就先做对齐,否则后面的比较没有意义。
- 检查接触界面是否改变。改变了,世界模型至少要在新界面上做小规模微调;没改变,进入第 3 步。
- 用少量新硬件的数据做身体参数辨识或适应模块微调。数据量通常只需几十到几百步,因为要估的只是低维参数。
- 用闭环任务成功率验证。若成功率明显低于原硬件,再考虑解冻世界模型的一部分——通常先解冻与接触相关的输出头,而不是整个主干。
这个顺序的价值在于每一步都可回退。先做最便宜的检查,再逐级增加改动。反过来做——一换硬件就重训整个模型——成本最高,而且会掩盖真正的问题:你无法判断性能下降是因为世界模型过时,还是身体参数没估准。
跨形态训练的两种路线
如果目标从一开始就是「一套模型服务多种身体」,那么训练阶段就要为迁移做准备。两条路线值得区分。
第一条是共享主干 + 形态条件。所有身体共享同一个主干,但输入里带形态描述(关节数、连杆长度、自由度类型),输出按形态解码。这条路线依赖大量多形态数据:Open X-Embodiment 这类跨具身数据集提供了数据基础,Heterogeneous Pre-trained Transformers(HPT,arXiv:2409.20537)则给出了一个具体形态——每台身体一个轻量 tokenizer(stem)把本体的视觉与本体感受对齐到共享 token 空间,主干在所有形态间共享,在 52 个数据集上做异构预训练。它的优点是数据利用率高,缺点是对极端不同的形态仍然吃力。
第二条是每台身体一个身体模型 + 共享世界模型。世界模型只以末端状态与物体状态为输入,身体模型各自独立。这条路线数据需求低、可解释性好,缺点是要求接触接口高度一致,且末端状态必须可观测。
两条路线并不互斥。实际系统往往在中间:世界模型共享主干,身体模型按形态分组,接触相关的输出头按夹爪类型分组。分组的粒度由「哪些量在换硬件时会变」决定,而不是由组织架构决定。
全在真机上学:DayDreamer 的身体模型在哪里
DayDreamer(arXiv:2206.14176)是理解「身体模型在世界模型里处于什么位置」的一个绝佳案例,因为它的训练回路里,本体状态与动作是和视觉观测一起被喂给世界模型的,而整个学习过程没有仿真器参与。

上图是 DayDreamer 的回路:当前策略在真机上采集经验,经验进回放池;世界模型从回放序列上做监督学习;演员-评论家在潜空间里想象 rollout,更新策略。注意图中本体状态与动作都从回放池回流到世界模型——在这套框架里,本体状态就是世界模型状态的一部分,没有被拆成独立的身体模型。
这个选择在 DayDreamer 的场景下是合理的,原因在于它的训练方式:在真机上在线学习意味着世界模型与硬件一起演化,身体永远是同一台,参数漂移(电池、温度)被持续的在线学习吸收。论文报告了一个四足机器人从仰卧状态开始,训练一小时后能翻滚起身并学会向前行走;在学会行走之后再推它,十分钟就能适应被推的新情况。这种适应速度本身说明身体参数在持续估计——只是估计被隐含在世界模型的连续更新里。
但它也暴露了「合在一起」的代价。当你要把这套训练好的世界模型搬到另一台机器人上,或者搬到仿真里做规模化评测,就面临一个归因问题:模型里的哪一部分是「这个世界的规律」,哪一部分是「这台机器的响应」。DayDreamer 论文自身也讨论了这一点,作者指出真机在线学习的安全约束使得必须谨慎设计动作空间与奖励,避免机器人在探索中损坏自己——这其实就是身体模型缺失时,用来替代它的一个外部约束。
一个自然的改造是把 DayDreamer 的回路拆成双路:一条路学习身体响应(本体状态的转移),一条路学习世界响应(视觉与物体的变化),两者在潜空间里共享编码器但各有独立的转移头。这样做会带来两笔账上的变化。
第一笔是样本需求。身体响应的转移通常比世界响应简单得多——大多数关节在短时间内近似一阶线性响应,不像物体接触那样有丰富的非线性。用少量数据就能训好一个身体转移头,剩下的大部分数据用于世界那一半。DayDreamer 在真机上训练四足机器人耗时一小时量级,如果身体部分单独预训练,真实交互的时长可以进一步压缩。
第二笔是安全。身体模型可以离线预训练、在线快速微调,它在想象 rollout 中先筛掉与关节限位、速度饱和相关的轨迹,世界模型只在可行的子集上评估。这对真机在线学习尤其重要,因为一次越界可能直接损坏硬件。
反过来,DayDreamer 也提供了一个警示:分得太细会让模型失去联合优化的收益。身体与世界共享同一个潜空间时,编码器可以把「关节角变化」与「身体位移」的因果关系学到一起,这种联合表示对手眼协调类任务很有价值。把它拆开之后,两半各自最优但合起来未必最优,中间的接口需要额外训练。这就是为什么分解的粒度必须由迁移需求驱动:没有迁移需求时,合起来通常更省事。
工具与负载:身体的临时延长
拿起一把锤子之后,机器人的「身体」在物理上变长了。锤柄、锤头有质量、有质心、有转动惯量;敲击时冲击力通过锤头传回手腕。这个过程里,世界模型看到的画面变化是「锤子砸到了钉子」,但动力学上发生的事情大部分属于身体:锤子的惯量改变了整条臂的等效动力学,冲击的反作用力沿着工具传回关节。
如果世界模型把工具吸收进「世界」,会出现一个荒谬的结果:同一个锤子,换一种握法,世界模型就认为世界的物理变了。正确做法是把工具临时并入身体模型:
θbody←θbody⊕θtool⊕ 表示把工具的连杆参数接到末端:工具长度接到末端位姿的最后一节,工具质量与质心并入末端连杆的惯性参数。做完这一步,身体模型预测的是「锤头会到哪里、以什么速度到」,世界模型只需要处理「锤头与钉子如何相互作用」。
工具参数的三个未知量
工具带来三类必须在线估计的量。
第一是几何:工具末端的实际位置。它由夹爪抓取点与工具本身的形状共同决定。夹爪的抓取位姿每次都有几毫米的偏差,工具越长,末端偏差被放大得越多。一把 30 厘米长的螺丝刀,抓取角度偏 2 度,刀尖就偏了约 1 厘米。
第二是惯性:工具的质量与质心。它们直接进入刚体动力学,影响重力补偿与加速度响应。质量估错会表现为「手臂在某个方向上总是偏低或偏高」,而这个偏差随姿态变化,很容易被误判为「世界模型对重力理解错了」。
第三是接触特性:工具与被操作物之间的摩擦、弹性、冲击响应。锤子敲钉子时的接触时间只有几毫秒,冲击力远大于静态重力。这部分既不属于纯身体,也不属于纯世界,而是接口处的属性。第二十二篇讨论接触状态时提到的「力与触觉的分工」,在工具场景下体现得最明显。
在线估计的可行做法
工具参数的估计不需要专门标定,它可以从第一次有意义的运动中得到。拿起锤子后先做一次小幅度的挥动,观测各关节的力矩与运动,用前面讲的 RLS 更新工具质量与质心;再做一次轻触,用末端力传感器或关节力矩反推接触刚度。
这个过程有几个工程约束:
- 必须先有激励。静止举着工具,力矩只反映重力,质量与质心高度耦合,估不准。需要加速或转动,让惯性项显现。
- 估计窗口要短。工具是临时的,估计太慢会错过使用时机;通常要求在一两秒内收敛到可用精度,之后再持续微调。
- 要能检测「工具掉了」。抓取失败时工具不在手上,如果模型还按有工具预测,会给出完全错误的末端位置。检测手段是预测力矩与实测力矩的突变,或者视觉上的工具消失。
负载与工具的区别
负载(payload)与工具在数学上是同一类东西——都是附加在身体上的质量——但工程处理不同。负载通常固定在机身或末端,变化频率低,可以慢速辨识;工具是临时抓取的,每次抓取都要重新估计,而且抓取位姿本身有不确定性。
这个区别决定了更新策略:负载用慢遗忘因子的 RLS,工具用一个独立的、快速重置的估计器。把两者混在一个参数向量里,遗忘因子会被迫取折中值,结果两边都不好用。
世界模型在这里应该学到什么
把工具并入身体之后,世界模型仍然需要学一件事:工具与物体接触时的物理。锤子敲钉子、螺丝刀拧螺丝、镊子夹起薄片,这些交互的接触几何与力的传递方式是世界的属性,不随抓取位姿改变。
这里有一条清晰的边界:工具的惯性属于身体,工具的接触行为属于世界。把这条边界画对,换工具时只需要更新惯性参数,世界模型不动;画错,每换一次工具就要重训一次世界模型。第二十一篇讨论图网络时把接触与摩擦列为难点,原因也在这里——接触是身体与世界的接口,它天然是两边都要建模的部分。
身体模型在推理时付多少账
第九篇算过世界模型推理系统的账:一次自回归 rollout 里 KV 缓存多大、去噪几步、每步多少毫秒。第十五篇把参数、想象、规划放进同一张预算地图。身体模型是这张地图上一个此前没有被单独列出的格子,它很便宜,但便宜不等于可以忽略——它的调用频率高,误差还会被世界模型放大。
三笔成本
| 环节 | 典型频率 | 单次成本 | 说明 |
|---|---|---|---|
| 解析运动学(FK/IK) | 100–1000 Hz | 几微秒(CPU) | 只做矩阵连乘,无参数,无状态 |
| 学习身体模型(小 MLP) | 100–1000 Hz | 十几到几十微秒(CPU) | 参数量通常在千到万级,可用定点或半精度 |
| 世界模型一步 rollout | 10–30 Hz | 几毫秒到上百毫秒 | 取决于潜空间还是像素空间、是否去噪 |
以 10 Hz 的世界模型、100 Hz 的身体模型为例:一个世界模型步长 100 毫秒,其间身体模型被调用 10 次。若身体模型单次 20 微秒,总共 200 微秒,占这一帧预算的 0.2%。即便把频率提到 500 Hz,身体模型的总开销也只有 1 毫秒量级。在算力账上,身体模型几乎不构成负担。这与世界模型动辄几十毫秒的单步成本形成鲜明对比,也是「先做分解」在经济上合理的原因:省下的不是身体模型的钱,而是世界模型重训的钱。
真正的负担在参数与数据的维护上,而不在浮点运算上:
- 身体参数需要在线估计,估计器本身要跑;
- 每台机器要维护自己的一套参数与一个小的适应网络;
- 参数漂移需要监控与告警,否则模型会静默地变差。
这三项是工程成本,不是算力成本。它们决定了身体模型能不能长期可靠地运行,也是很多团队做了分解却在几个月后失效的原因。
级联误差:便宜的那一环会放大贵的错误
把两段串起来,误差不是简单相加。设身体模型的预测误差为 eb=∥b^−b∥,世界模型对本体状态的敏感度为
JW=∂b∂W则世界模型输入端的等效误差近似为
es≈∥JW∥eb+eWeW 是世界模型自身的误差。这个式子的含义是:身体模型的误差会以 JW 的增益进入世界模型。在自由空间里,JW 大致对应末端位姿误差到物体位移误差的映射,量级接近 1;在接触里,JW 会被接触刚度放大。
一个具体估算:末端位置误差 1 毫米,接触刚度 104 N/m,产生的力误差约 10 N。对一个 1 千克的物体,这个力在 20 毫秒的接触时间里产生约 10×0.02=0.2 m/s 的速度误差,物体随即偏离预测轨迹几厘米。也就是说,身体模型 1 毫米的误差,经过接触放大后可能变成世界模型几厘米的预测偏差。插孔、装配、拧螺丝这类任务对 1 毫米级误差本来就很敏感,放大之后直接失败。
这个放大关系也解释了为什么接触任务的 sim-to-real 特别难:仿真里的接触刚度、摩擦、延迟只要有一项与真实不符,误差就会沿着这条链路被放大,而放大发生在世界模型这一侧,看起来像是「世界模型不准」,实际根因在身体模型。
延迟补偿:把身体模型当成外推器
身体模型还有一个推理期的用途:外推。世界模型按 10 Hz 运行,从传感器采样到世界模型输出有几十毫秒;如果直接把当前本体状态喂进去,等输出回来时机器人已经动了。做法是用身体模型把本体状态外推到世界模型输出的时刻:
b^t+δ=B(bt, ut:t+δ; θ)δ 是从采样到执行的端到端延迟,ut:t+δ 是这段时间内已经排队的指令序列。这样世界模型看到的是「执行时刻的身体状态」,而不是「采样时刻的身体状态」。
这个补偿的精度取决于身体模型的短时预测精度。外推几十毫秒通常足够准,因为身体响应在这么短的时间里近似平滑;但遇到接触、饱和、急停,外推会失效,此时应当降级为「不补偿、直接用当前状态」,并让下游规划器留出更大的安全裕度。
一个容易被忽略的成本:时间戳对齐
身体模型与世界模型的频率不同,两者之间必须有严格的时间戳对齐。工程上常见的错误是用「到达顺序」代替时间戳:传感器数据、控制器状态、视觉帧各自经过不同的队列与线程,到达顺序不等于采样顺序。一旦错位,身体模型会把旧指令配到新状态上,预测出的运动方向可能完全反了。
正确做法是每条数据都带采样时刻,用单调时钟而非系统时钟计算差值;跨设备时用 PTP 或至少用同一台机器上的同一时钟源。这个成本很低,但漏掉它会让前面所有建模工作白费。
几个反复出现的工程坑
编码器零位与关节符号
身体模型的运动学依赖关节角的定义。编码器零位偏了几度、某个关节的正方向与 CAD 相反,运动学就会系统性地错。这类错误的表现是「末端总是偏一个固定方向」,而不是随机噪声。上线前必须做一次零位标定,并在软件里显式记录每个关节的符号约定。
单位与量纲
弧度与度、米与毫米、牛顿与千克力,这三组单位在身体模型里最容易混。混用的后果不是报错,而是数值差几个数量级,模型训练时 loss 看起来正常,部署时输出荒谬。接口层应当强制单位,最好在类型层面就区分开。
重力补偿与 PD 增益
很多机器人控制器内部已经做了重力补偿,身体模型若再算一遍重力项,会重复补偿,表现为「手臂向上飘」。同样,PD 增益是控制器的一部分,不属于机械本体;把增益变化当成身体参数变化去辨识,会得到一个不断漂移的估计。建模时必须明确边界:哪些量在控制器里,哪些量在机械里。
温度漂移
电机与减速器发热后,摩擦下降、间隙变化、增益略变。这些变化是缓慢的、可重复的,用带遗忘因子的在线估计能跟住。但如果遗忘因子太小,估计会追着噪声跑;太大则跟不上温度变化。一个实用做法是把温度作为参数估计的额外输入,让模型学「温度到摩擦」的映射,而不是让估计器去追每一个温度点。
浮动基座:身体与世界的边界量
腿式机器人的机身位姿既是身体状态,也是世界状态的一部分。IMU 给出姿态,但位置会漂移;足端接触提供里程计信息,但「哪只脚着地」本身是一个接触估计问题。这个变量天然横跨两边:它既影响身体模型(支撑腿的约束),也影响世界模型(机身在世界中的位置)。工程上的处理是把它作为共享状态显式维护,由两边的观测共同更新,而不是归给任意一侧。第十八篇讨论共享状态时的版本号与因果戳,在这里正好用得上。
仿真的执行器模型
在仿真里训练身体模型时,执行器往往被简化成理想力矩源或一阶惯性环节。真实电机的电流环、饱和、齿槽转矩、间隙都不在模型里。Lee 等人在 2020 年的工作(Science Robotics,DOI: 10.1126/scirobotics.abc5986)专门用一个学习到的执行器网络来补这块差距,说明即便在四足行走这种相对成熟的场景里,执行器建模仍是 sim-to-real 的主要误差源之一。做身体模型时,如果目标是从仿真迁移到真机,执行器这一层必须单独建模,不能寄希望于世界模型把它吸收掉。
怎么测一个身体模型
身体模型的评测比世界模型简单,因为它有真值:本体状态每步都能测。但「预测误差小」不等于「在闭环里好用」,所以要分四层测。
第一层:本体预测误差
最直接的一步预测误差:
RMSEb=T1t=1∑Tb^t+1−bt+12T 是评测轨迹长度。这个指标要注意三点。其一,按关节归一化:不同关节的量程差很多,直接求范数会让大量程关节主导结果。其二,分构型统计:伸展位与折叠位的误差可能差一个数量级,只报平均值会掩盖问题。其三,多步 rollout:一步误差小不代表多步稳定,要在闭环里跑 20 到 50 步,看误差是否指数增长。
比关节误差更贴近任务的指标是任务空间误差:把预测的关节角通过正运动学映射到末端位姿,再算位置与姿态误差。对抓取类任务,末端 5 毫米的误差比任何关节角误差都更能预测成败。
第二层:参数恢复
在仿真里做这件事最方便:设定一组已知的身体参数(质量、质心、摩擦、延迟),采集激励轨迹,跑辨识,看估计值能否回到真值。要报告的不只是均值误差,还有条件数与参数相关性。两个参数高度相关时,即使各自的估计误差看起来不大,它们的组合也可能完全错误,换一条轨迹就露馅。
这一层还能暴露激励不足的问题:如果某条轨迹下条件数极大,说明轨迹对该参数的激励不够,应该重新设计激励,而不是继续调估计器。
第三层:扰动测试
参数恢复是在离线数据上做的,扰动测试是在闭环里做的。标准做法是施加四类扰动,逐类观察恢复时间与稳态误差:
- 负载:在末端加已知质量,看身体模型能否在几步内把质量估进去,末端位置误差是否回到基线。
- 地面:换成低摩擦或高摩擦表面,看外在参数是否被正确归因,而不是被当成身体故障。
- 末端执行器:换一个几何不同但质量相近的夹爪,看运动学参数是否更新。
- 零位偏移:人为把某个关节的零位偏 2 度,看模型是否把它识别为标定问题而非动力学问题。
每类扰动都要记录「恢复时间」与「恢复后的稳态误差」两个数。恢复时间反映估计器的收敛速度,稳态误差反映模型的表达能力。两者都重要:收敛快但稳态差,说明模型结构不对;稳态好但收敛慢,说明激励或遗忘因子设置有问题。
第四层:归因正确率
这是最能区分「分解做得好不好」的测试。做法是分别注入两类变化——身体变化(加负载、改零位、换末端)与世界变化(改摩擦、加障碍、换物体质量)——然后看系统的检测器把变化归到哪一类。
一个合格的分解应当在这个测试上得到高正确率;一个把身体吸收进世界的模型,会系统性地把身体变化误判为世界变化。这个测试不需要真实硬件,在仿真里就能做,而且成本很低。建议在训练阶段就把它作为回归测试,每次改动模型结构都跑一遍。
第五层:闭环任务成功率
最终还是要回到任务。同一套世界模型配两个身体模型——一个准确、一个故意劣化——跑同一批任务,成功率之差就是身体模型对任务的边际价值。这个差值如果很小,说明该任务对身体建模不敏感,分解的收益有限;如果很大,说明身体模型是瓶颈,值得投入。
第六层:损伤检测的误报率
如果身体模型兼做故障检测,必须报告误报率与漏报率。误报会让机器人频繁停机,漏报会让损坏扩大。这两个指标与检测阈值直接相关,应当给出完整的 ROC 曲线,而不是只报一个工作点。
小结:把「身体」从「世界」里拿出来
这个系列的前二十二篇,把世界模型从概念、路线、评测、部署、规划、推理系统、能耗、几何、物体、分层、预算、动作接口、记忆、共享状态、闭环误差、跨会话、物理结构一直讲到多模态接触。这二十二篇里,「动作」一直被当成直接作用于世界的东西。这篇补上了缺失的那一半。
核心结论可以压缩成四句:
- 动作是意图,本体状态是结果,世界状态是后果。三段因果链里,中间那段属于身体,不属于世界。把三段合成一段学,模型会把硬件特性吸收成世界规律,换硬件就失效,而且失效是静默的。
- 身体模型有三种形态:解析、学习、残差。解析给先验,学习补非线性,残差把两者接起来。参数辨识把身体压缩成一个低维向量,可辨识性由激励轨迹与基参数决定,不是所有参数都能估出来。
- 本体感受既是输入也是输出,它让身体模型可以用每步的预测误差做闭环检查,也让「世界变了还是身体变了」成为一个可诊断的问题。
- 结构是免费的先验。把身体写成图,用邻接矩阵构造注意力掩码,既省样本又省算力;没有 CAD 时,自我建模可以从数据里把结构补出来,代价是探索、样本与可解释性。
迁移的账也清楚了:接口对齐只解决「说同一种语言」,身体参数适配解决「同一副骨架的不同实例」,真正的世界分支不动只在「接触界面不变」时成立。工具是身体的临时延长,它的惯性归身体、接触行为归世界,这条边界画错就要每次换工具重训世界模型。
把这些放回第十五篇的预算地图,身体模型占的是很小的一格算力,却决定了整张地图能不能跨硬件复用。它不产生新的想象能力,只保证想象发生在正确的坐标系里。对一个要长期运行的机器人系统来说,后者的价值往往更大——因为硬件会换、会坏、会被改造,而世界不会。
系列走到这里,还有一条此前点名但尚未展开的线索:世界模型作为仿真里的数据引擎时,它的失效边界在哪。把世界模型产出的轨迹当作训练数据,而不是直接当作预测器使用时,「学到的世界理解」会以哪种方式污染下一轮的训练,是一条独立的问题线。下一篇讨论这条边界。
参考资料
- Resilient Machines Through Continuous Self-Modeling,Bongard, Zykov, Lipson,Science,2006
- Task-agnostic self-modeling machines,Kwiatkowski, Lipson,Science Robotics,2019
- Fully body visual self-modeling of robot morphologies,Chen, Lipson,Science Robotics,2022
- Egocentric visual self-modeling for autonomous robot dynamics prediction and adaptation,npj Robotics,2025
- Body Transformer: Leveraging Robot Embodiment for Policy Learning,Sferrazza 等,2024
- RMA: Rapid Motor Adaptation for Legged Robots,Kumar 等,2021
- DayDreamer: World Models for Physical Robot Learning,Wu 等,2022
- Learning Quadrupedal Locomotion over Challenging Terrain,Lee 等,Science Robotics,2020
- Residual Policy Learning,Silver 等,2018
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models,Open X-Embodiment Collaboration,2023
- MuJoCo Documentation: Computation and Physics,MuJoCo 官方文档
- Morphology-Conditioned World Model for Cross-Embodiment Quadrupedal Locomotion,2026
- Body Schema Policy: Body as the Vision-Action Interface for Efficient Robot Loco-Manipulation,Zhang 等,2026
- GeMuCo: Generalized Multisensory Correlational Model for Body Schema Learning,2024
- DMAP: a Distributed Morphological Attention Policy for Learning to Locomote with a Changing Body,2022
- Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers,2024
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



