正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(二十六):该用哪个引擎,不看题面看状态——任务切段与引擎选择的自动化
承接前二十五篇:切段还靠人
这个系列已经从「世界模型是什么」走到了「两个引擎一起造数据」。第一篇把世界模型放进 POMDP,定义成状态推断加动作条件预测;第二到第五篇拆了 Dreamer、JEPA、视频生成模型与 WAM 四条路线;第六到第十篇算了评测、部署、规划、推理与能耗的账;第十一到第十四篇补上 Dyna、几何、物体中心与分层;第十五篇把这些杠杆汇成一张预算地图;第十六篇讲动作如何进入模型;第十七篇讲长程记忆;第十八篇讲多个入口共享同一个世界;第十九篇讲闭环误差;第二十篇讲跨会话迁移;第二十一篇把物理结构写进网络;第二十二篇把触觉带进预测器;第二十三篇把身体从世界里拆出来;第二十四篇讲世界模型当数据引擎时的失效边界;第二十五篇讲物理仿真器与生成式世界模型如何分工、如何对账。
第二十五篇的结论是:两个引擎的误差方向是正交的,仿真器强在显式状态、可编辑场景与精确动作标签,弱在接触、资产与参数;世界模型强在观感与单视角连续性,弱在没有持久状态、几何会漂、动作有滞后。四种工艺都是在这条正交性上做拼接。
但那篇留下了一个没有解决的问题:切段是人工的。哪一段交给仿真器、哪一段交给世界模型、哪一段干脆不要生成,靠的是工程师读任务、看视频、凭经验决定。一个真实的长程任务(开抽屉、抓杯子、放进抽屉、关抽屉)里,四段的物理性质完全不同,但任务文本只有一句话。如果数据引擎要跑到几千个任务、几万个变体,这种人工切段会成为整个流水线里最不可扩展的一环。
这一篇就把这一环自动化:给定一条演示、一个任务描述、一个状态提取器和一个算力预算,系统如何自己决定在哪里切、每一段交给谁,以及什么时候应该拒绝生成。
结论先放在前面:引擎选择不该看题面,而该看每一段的状态可观测性。同一个任务里的不同段,甚至同一段的不同时刻,可观测的东西不一样;判据应该建立在「这一段的状态能不能被可靠提取」「这一段有多少时间处在接触中」「这一段的结果是否依赖跨段持久的状态」上,而不是「这是插螺母任务所以用仿真器」。这条判据链会给出一个可计算的路由表,也会给出一个经常被忽视的输出:当两个引擎都不可靠时,路由器的正确动作是不生成,回头要真机数据。
这件事目前没有一个现成的端到端系统在做。已有的工作是零散的:MimicGen 与 SkillMimicGen 证明了「按对象切段再重定位」可行,DynaMimicGen 用子任务完成度指标自动检测段边界,DexSkills 证明了技能边界在触觉与状态空间里是可分的,CoDA 与 Seed2Scale 则从反馈侧决定「该补什么」。这一篇要把这些碎片拼成一个完整的选择机制,并且把「判据本身会出错」这件事算进账里。
为什么「看题面切段」注定失效
先看一个具体的反例。任务文本是「把螺母拧到螺栓上」。如果按任务名路由,结论很自然:螺纹啮合是接触主导的,仿真器有刚体接触与摩擦模型,用仿真器。
但把这条演示按时间展开,它至少有三段截然不同的物理:
- 接近段:夹爪从初始位姿移动到螺母上方,全程自由空间,没有任何接触。这一段只关心视觉上的接近轨迹是否自然、夹爪姿态是否合理。仿真器能算出精确的位姿,但仿真器渲染出来的画面是塑料感的;世界模型在这一段几乎完美,因为它只需要把夹爪「画」到正确位置。
- 啮合段:螺纹开始咬合,接触力沿螺旋面传递,容差通常在亚毫米级。这一段世界模型完全无能为力:它没有接触力、没有穿透约束,生成的画面看起来像在拧,实际上螺纹可能互相穿过。仿真器在这一段是唯一选择,而且还要靠域随机化包住摩擦与间隙的误差。
- 旋入段:螺母已经咬合,剩下的是绕轴旋转。这一段接触模式稳定(持续滑动接触),动作是一维的,视觉上变化很小。仿真器依然可靠,但世界模型也可以凑合,因为这一段几乎不需要预测新的几何。
三段,三种结论,而任务文本只有一个。按题面路由的系统只能给出一个答案,于是它要么把接近段也交给仿真器(贵,而且画面不真实),要么把啮合段也交给世界模型(灾难)。这就是「看题面切段」失效的第一层原因:任务文本的粒度比物理性质的粒度粗。
第二层原因更根本:任务名里的动词不决定物理。同一个「放置」动作,放一个刚体杯子、放一块布、倒一杯水,接触模式分别是刚体接触、可变形体接触、流体。三者的仿真难度差了几个数量级,世界模型的难度也完全不同。语言层面的分类丢掉了这些信息。
已有的系统其实早就绕开了题面路由,只是没有把它讲成路由问题。MimicGen 的做法是把人类演示切成以物体为中心的段(object-centric segment),每一段只操纵一个物体,段的动作表示在该物体的坐标系里。这样一段就能被空间变换到新场景:把段内的末端位姿 TOiAt 左乘新场景里该物体的位姿 TWOi′,得到新的世界坐标动作 TWAt′。这套机制之所以成立,前提是段有唯一的参考系物体,而且该物体的位姿能被估出来。

这张图来自 MimicGen 的系统图。上半部分是「解析源演示」:一条长演示被切成若干子任务段,每一段对应一个被操纵的物体;下半部分是「为新场景生成轨迹」:系统为新场景拿到每个物体的当前位姿,取一段参考段,把它变换到新场景并执行,段与段之间用插值接到起始位姿。整个过程没有重新决策的动作,只有段级的刚体变换与重定位。
SkillMimicGen 把这件事形式化得更彻底。它把一个技能定义成四元组 ψ=⟨O,I,π,T⟩:被操纵的物体 O、起始条件 I、控制器 π、终止条件 T。数据生成时,系统从源演示里取一段参考技能段,按新场景里物体的位姿做变换,执行,再用运动规划把上一段的终止状态接到下一段的起始状态。这里已经隐含了本篇文章要讲的全部要素:段有物体、段有起止条件、段与段之间有接缝、段的执行依赖位姿估计。
换句话说,工程实践早就在「按状态切段」,只是切法固化在人工标注与任务设计里。要自动化,需要把工程师脑子里的判断拆成可观测的量。

这张图来自 DexSkills 的网络结构。左侧是主从遥操作设备与机器人,采集末端位姿、关节角、指尖触觉与力信号;右侧是「每个技能一个独立控制器」的结构——每个技能有自己的线性层与 MLP。它说明了段在系统中不只是统计意义上的切分,而是可执行的单元:一个段对应一个控制器、一个起始条件、一个终止条件。这也解释了为什么段边界必须与参考系绑定——控制器的输入是以某个坐标系表示的,坐标系错了,控制器就执行错。
切段的单位:不是任务文本,而是状态空间的一个格子
要把切段写成算法,先要定义段是什么。任务文本给出的是一个字符串,段给出的应该是一个带参考系的状态区间。
把一条演示轨迹 τ={(ot,at,st)}t=0T 切成 K 段,第 k 段记为
σk=(tk, tk+1; Ok, ok∗, ck, Mk)其中 tk 与 tk+1 是段的起止时刻,Ok 是这一段里被操纵或被显著改变的物体集合,ok∗∈Ok 是参考系物体,ck 是这一段的接触模式,Mk 是这一段需要携带的模态集合(RGB、深度、触觉、关节力矩等)。
四个字段里,最容易忽视的是 ok∗。它不是一个标注细节,而是「这一段能不能被生成」的关键。因为在仿真器路径上,段的动作必须以参考系物体的相对坐标存储,才能被重定位到新场景;在真实数据上,动作通常以末端执行器坐标存储;在世界模型路径上,动作是像素级的条件信号,根本没有对象坐标系的概念。三种引擎对「参考系」的要求不同,这直接决定了同一段在不同引擎下的可生成性。
把重定位写成式子。设源演示里参考系物体 o 在世界坐标下的位姿为 TWo,段内第 t 步的末端位姿为 TWAt,则段内动作在物体坐标系里的表示为
ToAt=(TWo)−1TWAt新场景里该物体的位姿变成 TWo′,则该段可以被整体搬到新场景:
TWAt′=TWo′ToAt这两行式子看起来很朴素,但它把「段」与「场景」解耦了:段的语义存在物体坐标系里,场景只提供物体的位姿。代价是,一旦 TWo′ 估不准,整段动作就被整体带偏,而且偏的方式是刚体变换,不是随机噪声——偏 1 毫米就是全段偏 1 毫米,不会因为段长而平均掉。
由此得到第一个判据的雏形:一段能不能走仿真器路径,取决于该段的参考系物体位姿能不能被可靠估计。这不是「仿真器准不准」的问题,而是「段的表示能不能建立」的问题。

这张图来自 Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization(2025 年 2 月提交到 arXiv)。左侧是一条在 VR 里采集的人类演示,右侧是同一段动作被重定向到 Allegro 灵巧手、双臂 iiwa、双臂 Panda 三种具身的结果。它说明「段」与「具身」也是解耦的:同一段在物体坐标系里的动作,换一套机器人只需要换运动学映射,不需要重新采集数据。这个解耦正是仿真器路径最值钱的地方,也是它必须依赖物体位姿估计的原因。
第二个字段 ck 同样不是标注细节。接触模式决定了仿真器的误差量级:自由空间段的仿真误差主要来自运动学与控制器跟踪,通常在毫米级以下;刚体接触段的误差来自摩擦锥线性化、求解器迭代次数、穿透容差,可能到毫米甚至厘米级;可变形体与流体的误差则可能完全不可控。同一个仿真器,在三类接触模式下的可信度差了一个数量级以上。所以「接触密度」不是描述性的指标,而是误差模型的输入。
第三个字段 Mk 决定引擎的输出接口。仿真器能直接给出本体状态、接触力、物体位姿、分割掩码;世界模型只能给出像素(加上可能的深度与光流)。如果后续训练需要力信号,那这一段走世界模型就注定缺标签,除非再接一个力估计器——而那又把误差绕回来了。
先把这三个字段与判据的对应关系记成表,后面逐项展开:
| 段字段 | 物理含义 | 主要影响的引擎 | 可观测代理量 |
|---|---|---|---|
| Ok,ok∗ | 段作用于哪些物体、以谁为参考系 | 仿真器(重定位)/ 世界模型(无此概念) | 位姿估计成功率、分割稳定性 |
| ck | 接触模式与接触时长 | 仿真器(误差量级)/ 世界模型(完全缺失) | 接触帧占比、力/触觉信号 |
| Mk | 段需要携带的模态 | 仿真器(可给特权信息)/ 世界模型(仅像素) | 下游训练是否需要力/状态标签 |
| 段长 tk+1−tk | 误差累积的时间窗 | 两者(误差随段长增长) | 帧数、控制步数 |
这张表是后文路由表的基础。
三个可观测的判据:提取成功率、接触密度、持久状态的需求
路由要自动,判据就必须从传感器与控制器数据里算出来,而不是从任务描述里读出来。工程上能拿到的量有三类,对应上一节的三个段字段:
- 提取成功率 ρk:这一段的参考系物体位姿能不能被可靠地估出来。它直接决定仿真器路径能否建立重定位。
- 接触密度 κk:这一段时间里有多大比例处在明确接触中,以及接触的强度。它决定仿真器误差量级,也决定世界模型是否具备最基本的可控性。
- 持久状态需求 ηk:这一段的结果依赖多少段外的信息(物件之间的相对位置、此前各段留下的状态、开关状态等)。它决定世界模型能否在多段拼接中被接住。
判据一:提取成功率 ρk
把段 k 里的每一帧 t 过一遍位姿估计器,得到一个成功率:
ρk=∣σk∣1t∈σk∑1[conf(ok∗,t)>τc ∧ err(ok∗,t)<τe]conf 是估计器给出的置信度(例如分割掩码的 IoU、位姿求解器的残差、多视角一致性得分),err 是对真值的误差代理(仿真里可以直接拿真值,真机上只能用重投影误差或多视角一致性)。τc 与 τe 是阈值。
这个量为什么关键?因为仿真器路径的动作是在物体坐标系里存储的,重定位用的是 TWo′。如果 TWo′ 的估计误差在段内是 ±3 毫米,那么整段动作都会带这个偏差。对于啮合类任务,3 毫米就是失败。所以 ρk 低不是「数据质量差一点」,而是「这一段在仿真器路径上根本不能用」。
更麻烦的是,ρk 的高低往往与接触密度相关:抓取之后物体被夹爪挡住,位姿估计器看不到;塞入抽屉后物体完全消失。一个看起来「接触主导、适合仿真器」的段,恰恰是提取成功率最低的段。这条反向关系会在后文被反复用到。
判据二:接触密度 κk
定义接触帧占比与接触强度:
κk=接触时长占比∣σk∣1t∑1[∣ft∣>f0] ⋅ 强度饱和项∑t∣ft∣+f00∑t∣ft∣ft 是接触力或触觉信号的范数(真机上来自腕部力传感器或指尖触觉阵列,仿真里直接读接触力),f0 是判定接触的下限,f00 是强度尺度常数。乘积形式的好处是:接触很短但力很大的段(撞击)和接触很长但力很小的段(轻推)都被抬高,而两者对模型的要求完全不同,后面需要再加一个「接触时长」维度区分。
为什么接触密度会直接决定引擎?因为世界模型学的是像素序列的条件分布,它没有力这一层。当 κk 很低时,动作的后果几乎只体现在几何上(靠近、抬起、平移),世界模型可以做得很好;当 κk 很高时,动作的后果主要体现在力与形变上,而这些在世界模型里只能通过视觉间接体现,而且往往体现错——看起来塞进去了,实际上穿模。
物理仿真器在这一点上恰好相反:它在 κk 高时仍然能给出接触力,但因为求解器近似(线性化摩擦锥、有限穿透容差),误差随 κk 而增大。所以两个引擎的误差都随 κk 上升,但上升的机制不同:仿真器是「算不准」,世界模型是「根本没有这个量」。
判据三:持久状态需求 ηk
这个量最难观测,也最容易被忽视。第二十五篇讲过,世界模型没有持久的场景状态——它只有前几帧的视觉历史。当一个段的结果依赖段外的状态时,世界模型就会出错。
定义 ηk 为一个依赖度:段 k 的成功条件里,有多少个因子无法从段内观测到,只能从段外获得。写成
ηk=j∈deps(σk)∑wj (1−ϕj)deps(σk) 是段 k 依赖的段外状态因子集合(例如「抽屉已经打开了多少」「杯子是否已经在抽屉里」「螺母还剩几圈」),wj 是该因子的重要度,ϕj∈[0,1] 是该因子从段内视觉历史中可恢复的程度。ηk 越高,说明这一段越依赖「世界一直记着」这件事。
世界模型的记忆能力受限于它的历史窗口与潜状态容量;仿真器则是持久的真值状态。所以 ηk 高就是世界模型的禁区。但要注意:ηk 和 κk 是独立的。一个段可以接触密度为零、但高度依赖段外状态(例如「把杯子放到已经打开的抽屉里」,这一段本身只是自由空间移动,但它的终点状态依赖抽屉当前的开口大小)。
三个判据的联合形状
把三个判据放进同一个坐标里,可以得到一张段的分布图:
| 段类型 | ρk | κk | ηk | 典型例子 |
|---|---|---|---|---|
| 自由空间过渡 | 高 | 低 | 低 | 从家位到抓取点上方 |
| 抓取 | 中 | 低 | 中 | 闭合夹爪包住物体 |
| 刚体接触操作 | 低-中 | 中-高 | 中 | 拧螺母的旋入段 |
| 依赖场景状态的操作 | 中 | 低-中 | 高 | 把杯子放进当前开口的抽屉 |
| 可变形体操作 | 低 | 高 | 中 | 叠衣服、倒水 |
这张表是后面路由逻辑的输入。但要记住,这一节里三个判据都是量的定义,还不是完整的路由规则;下一节才把它们变成一个函数。
一个被验证过的代理量:技能可分性
ρk、κk、ηk 三个判据里,只有 κk 有真机上的直接物理量(力/触觉)。ρk 依赖位姿估计器的好坏,ηk 依赖对段外依赖的建模。有没有一个更粗、更鲁棒、所有任务都算得出来的代理量?
有,就是技能可分性:把一段的状态信号喂进一个判别器,看这部分是不是能被归成一种「一致的技能」,且与其他部分分得开。
DexSkills(2024 年 5 月发表在 arXiv,论文题目 DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks)做了一件直接相关的事:它用触觉信号加末执行器状态训练一个分类器,把长程任务的演示切成技能块,然后按技能块执行长程任务。论文报告的对比很有意思:只用原始触觉数据与关节数据,分类准确率只有 35%;加上作者设计的一组可提取特征之后,准确率提升到约 76%。这说明技能边界在一维/低维信号里确实可分,但需要正确形式的特征。

这张图是 DexSkills 论文里的 t-SNE 可视化。每个点是一帧的触觉与本体特征,颜色是人工标注的技能标签。可以看到,Reach、Grasp、Place、Wipe 等技能各自聚成相对独立的簇,簇与簇之间有明显间隙。这说明「段边界在状态信号里可分」不是假设,而是可以在真实数据上验证的事实;同时也能看到 Flip、Release 这类短技能的点很少、离其他簇很近,正好对应论文报告的高混淆率。这个分布形状就是自动切段算法要利用的东西:边界应该找在簇的间隙上,而不是找在簇的中间。
更关键的是它报告了一个失败模式:flip 与 release 这两个技能短、特征少,容易被错分到别的技能上;而且人工标注的真值本身在技能转换处就有误差。这与本节判据一、二的「反向关系」同一回事:段边界处的状态最容易被误判,而段边界又恰好是最需要判对的地方。
这个观察可以提炼成一个重要的设计原则:任何基于模型或信号的可分性,都会在段边界附近退化。因此自动切段系统必须在边界附近留一段「缓冲带」,不要把边界判据当作精确的时间戳。这个原则会在后文「切段边界的接缝」一节展开。
引擎选择函数:把判据变成一张路由表
有了三个判据,就可以写一个选择函数。它不是一个神经网络,也不是一个语言模型,而是一个带权重的规则加一个不确定度门,输出四个动作之一:
- SIM:用物理仿真器生成
- WM:用生成式世界模型生成
- HYB:两个引擎各做一段(只在段内再细分时使用,见下文)
- REFUSE:不生成,转到真机采集或人工标注
动作的代价形式
先把「为什么这样选」写成代价最小化。对段 σk,引擎 e∈{SIM,WM} 的期望代价由三部分组成:
Ce(σk)=该引擎的误差δe(σk)⋅误差流向训练集的敏感度Vdown(σk)+该引擎的生成成本χe(σk)δe 是引擎 e 在这一段上的误差量级(前面判据决定的),Vdown 是这一段的误差对下游策略的伤害程度(取决于这一段是否包含结果事件、结果的容差、下游是否依赖它),χe 是每个样本的生成成本。选择 argmineCe 是直观的,但有两个问题需要处理。
第一个问题是 Vdown 本身不可直接观测。它的代理是「这一段是否包含关键接触事件」「这一段是否决定最终成功」。一个可行的写法是把 Vdown 拆成结果容差与结果可见性:容差要求越严格(啮合、插入),结果越不可见(物体被遮挡),Vdown 越大。
第二个问题是:两个引擎的误差量级都不能保证小于真机采集的误差,当两个引擎的 δe 都很大时,argmin 依然会选一个——但「选一个差的」比「不选」更糟。这就是需要 REFUSE 的由来。
不确定度门与拒绝规则
把每个引擎的误差写成「估计值 ± 不确定度」的形式:δe=δ^e±ue。当不确定度本身大到让两个引擎的区间都跨过了「可接受阈值」T 时,选择函数不能装出确定的样子。拒绝规则写为
refuse ⟺ ∀e: min(C^e(σk)+zue⋅Vdown)>Tz 是保守系数(例如取 2,对应大约两个标准差的误差上界),T 是「用这一段训练出来的策略,成功率的可接受下界」对应的代价。直觉:宁可少生成一个段,也不要生成一个看起来像数据、实际上把策略带偏的段。
这条规则与第二十四篇的「六道防线」是一回事,但被放到了段级而不是整条轨迹级。这个落位很关键:第二十四篇的防线是在轨迹生成完之后过滤;这里是在轨迹生成之前就决定某一段不进入生成阶段。前者的代价是「生成了一条废轨迹再丢掉」,后者的代价是「缺一段数据」。后者的成本低得多,但它要求一个更准的段级误差估计。
路由表
把判据映射到动作的完整规则可以写成一张表。行是段类型(由判据组合推出),列是引擎,单元格是「可行 / 需额外防护 / 拒绝」:
| 段类型(ρ,κ,η) | 物理仿真器 | 生成式世界模型 | 路由结论 |
|---|---|---|---|
| 高 ρ、低 κ、低 η(自由空间过渡) | 可行,误差极小 | 可行,视觉更真实 | 按画面真实度需求选,默认世界模型 |
| 高 ρ、低 κ、中 η(抓取、接近被操作物) | 需防护:位姿估计与末端接触一致性 | 需防护:需段外状态输入 | 仿真器为主,世界模型只做外观修饰 |
| 低 ρ、高 κ、中 η(啮合、插入) | 可行(唯一选择):需域随机化与接触参数标定 | 拒绝:无持久状态、无接触力 | 仿真器 |
| 中 ρ、中 κ、高 η(依赖场景状态的操作) | 可行:状态可编辑,前提是场景资产已建 | 拒绝:历史窗口不足以承载 | 仿真器 |
| 低 ρ、高 κ、高 η(可变形体、遮挡下的装配) | 需防护:材料参数、遮挡下的可见性 | 拒绝 | 依赖防护成本决定,常为 REFUSE |
| 低 ρ、低 κ、低 η | 需防护:位姿与视觉重建 | 需防护:短段、纯视觉 | 两者都可能是次优,取决于资产与画面需求 |
这张表的关键不是每一格选了什么,而是每一格里「为什么拒绝」的理由可以被写成一句话。这种可读性对工程很重要:一个路由决策如果事后无法解释,故障排查就只能靠重新生成一遍整条轨迹。
路由表的三个不变量
规则表要稳定,需要守三条不变量:
- 不变量一:拒绝优先。 无论代价怎样比较,只要某一段的误差区间同时跨过阈值,就必须拒绝,不能借「另一段看起来没问题」来稀释。
- 不变量二:参考系必须在段内闭合。 如果一段跨越两个参考系物体(例如「把杯子放进抽屉」同时依赖杯子和抽屉),该段必须被再切一次,切成「杯子相对抽屉」的子段在抽屉坐标系里执行。
- 不变量三:持久状态优先由仿真器承载。 如果某一段依赖段外状态,但该段本身接触很少,一个诱人的做法是把状态注进世界模型的 prompt(例如「抽屉已经开了 30 厘米」)。这在新场景上一般失效,因为世界模型对量化状态量的条件控制很弱;所以任何依赖段外状态的段都不该默认交给世界模型。
第二条不变量会引出一个「段内再切」的问题,下一节展开。
判据从哪里来:状态提取器的第一层实现
判据不是抽象概念,必须由具体信号算出来。这一节把三个判据落到可实现的计算上。
信号的来源与代价
先看能拿到什么。一个典型的长程操作任务,可用的信号源大致有五类:
| 信号 | 采样方式 | 典型频率 | 精度 | 主要失效模式 |
|---|---|---|---|---|
| RGB/深度相机 | 外部固定或腕部相机 | 15-30 Hz | 像素级 | 遮挡、透明/反光物体、运动模糊 |
| 关节编码器 | 机器人本体 | 100-1000 Hz | 高 | 连杆间隙与标定误差 |
| 腕部力/力矩传感器 | 末端执行器 | 100-1000 Hz | 高 | 零点漂移、温漂 |
| 指尖触觉阵列 | 夹爪指面 | 30-100 Hz | 中 | 接触面积小、标定难 |
| 物体位姿估计 | 视觉 + 模型 | 5-30 Hz | 取决于物体 | 对称物体歧义、遮挡、透明 |
这张表决定了一个现实:判据的计算频率不可能是统一的。力信号在 1 kHz,位姿估计在 10 Hz 上下,视频帧率只有 30 Hz。把三者按时间戳对齐并做插值,是状态提取器的第一件事,也是最容易埋下时序错位的地方——第二十五篇的「坑三」讲的正是这个。
提取成功率的具体计算
仿真里的位姿是白给的,真机上不是。真机上 conf 与 err 最实用的两个代理是:
- 重投影误差:把估计的物体位姿投影回每个相机视角,与检测到的物体二维框/掩码比较,取平均像素误差。误差在 5 像素以内可以认为该帧可信。
- 多视角一致性:两个视角分别估计同一物体的位姿,把位姿差换算成旋转角与平移距离,超过阈值就认为该帧不可信。这条对遮挡尤其有效,因为遮挡通常只发生在一个视角。
把逐帧判断汇总成段级时,不要只取平均。段内分布往往是双峰的:前一半全部可信,后一半全部不可信(因为物体被抓进夹爪,相机看不见了)。平均值会骗人。更稳的做法是取段内连续可信窗口的长度占比:
ρkwin=∣σk∣最长连续可信帧数这个量低,说明段里存在根本不可观测的子区间,哪怕整段的平均置信度看起来不错。
接触密度的具体计算
力信号的判据要区分「接触」与「夹爪闭合」。夹爪在自由空间里闭合也会产生力(夹到自己的行程末端或夹到空气时没有力,但夹到物体时会立刻有力),如果只用阈值 ∣f∣>f0,很容易把「抓住物体后平移」整段判成高接触——而平移段的接触其实是稳定的、不产生相对运动的静摩擦,仿真器处理起来比啮合段容易得多。
所以接触密度要再拆一个维度:接触状态的变化率。定义接触事件计数
nkevt=#{t: sgn(Δ∣ft∣)=0 ∧ ∣Δ∣ft∣∣>fevt}即段内力信号显著变化(上升沿或下降沿)的次数。啮合段的 nkevt 高(力随螺纹咬合反复起伏),静摩擦平移段的 nkevt 低(力几乎恒定)。把 (κk,nkevt) 放进二维空间,才分得开「接触密集但稳定」与「接触密集且变化」两类段,而这两类对仿真器的要求完全不同。
持久状态需求的具体计算
ηk 最难直接测,但可以用一个遮蔽实验来估计:把段外的状态从观测里人为抹掉(例如把段前若干帧遮黑、或把相机视野裁到段内物体),看状态估计器/预测器在这一段的输出变化有多大。变化大说明这一段严重依赖段外信息。
这个实验在仿真里做起来很便宜:只要把渲染的相机视野限制到段内的物体,或者把一个「段外状态」变量随机化,看段的成功率分布。分布越宽,ηk 越高。真机上这个实验做不了,只能靠仿真先标定出「这类任务这个段的 η 大概是多少」,再迁移。
把判据合成路由函数
下面是把三个判据合成路由决策的实现骨架。注意它显式返回了 REFUSE,并且对不确定度单独处理:
1def route_segment(seg, est, budget, thresholds):2 # 1) 三个判据3 rho = state_extract_success(seg, est) # 0..14 kappa, n_evt = contact_density(seg) # 0..1, int5 eta = persistence_need(seg, est) # 0..16 # 2) 不确定度:位姿估计器在段内是否稳定7 u_rho = 1.0 - seg_confidence_stability(est)8 # 3) 规则表(顺序有意义:拒绝优先)9 if rho < thresholds.rho_min and kappa > thresholds.kappa_hi:10 return "REFUSE" # 不可观测 + 高接触11 if eta > thresholds.eta_hi and kappa > thresholds.kappa_hi:12 return "REFUSE" # 依赖状态 + 高接触13 if rho >= thresholds.rho_hi and kappa <= thresholds.kappa_lo:14 return "WM" if seg.needs_visual_fidelity else "SIM"15 if rho >= thresholds.rho_mid and kappa > thresholds.kappa_lo:16 return "SIM" # 接触段默认仿真器17 if u_rho > thresholds.u_max:18 return "REFUSE" # 判据本身不可信19 return "HYB" # 段内再切后各自路由这段代码里有三个值得解释的决定。
第一,阈值是有顺序的。REFUSE 判断放在最前面,保证「不可观测且高接触」这种硬情况不会被后面的规则抢救成某个引擎。
第二,u_rho 单独作为拒绝条件,而不是揉进 rho。因为位姿估计器不稳定时,rho 的均值可能看起来很健康,但它是「有些帧极好、有些帧极差」的混合,这种段不管交给谁都是在赌。
第三,HYB 不是「两个引擎同时生成」,而是「段内再切」。下一节会说明为什么这个区分重要。
判据的标定成本
判据不是免费的。位姿估计器的精度、力传感器的阈值、η 的标定,都需要在仿真或少量真机上先做一遍。这个成本必须摊到整个数据引擎上:如果只有几十条轨迹,手工切段更便宜;只有当轨迹数量到几千条时,自动切段才划算。
这带来一个反直觉的结论:自动切段不是「更聪明的切法」,而是「在规模上才成立的切法」。一个数据引擎如果决定投入自动路由,它的任务规模必须大到让标定成本被摊薄。规模不够时,人工切段加规则表反而更可靠。
自动切段如何面对混合任务:一个开抽屉任务的完整走查
把前面所有机制放到一条具体演示上看。任务:「把杯子放进抽屉」。一条人类演示约 300 帧,四段:
- 开抽屉(约 90 帧)
- 抓杯子(约 60 帧)
- 把杯子移进抽屉(约 100 帧)
- 关抽屉(约 50 帧)
先按上一节的提取器算三个判据,得到一个段级向量:
| 段 | ρ | κ | nevt | η | 判据结论 |
|---|---|---|---|---|---|
| 1 开抽屉 | 0.82(把手被手挡住,部分帧失败) | 0.35 | 6 | 0.15(只依赖抽屉自身状态) | 中可观测、低接触、低持久需求 |
| 2 抓杯子 | 0.45(物体很快进入夹爪遮挡) | 0.20 | 2 | 0.30(依赖杯子当前位姿) | 低可观测、低接触、中持久需求 |
| 3 移入抽屉 | 0.55(杯子长时间被夹爪遮挡) | 0.40 | 4 | 0.85(成败取决于抽屉当前开口与杯柜深度) | 中可观测、中接触、高持久需求 |
| 4 关抽屉 | 0.78 | 0.30 | 5 | 0.10 | 高可观测、低接触、低持久需求 |
逐段套路由表:
- 段 1 开抽屉:高可观测、低接触、低持久需求。仿真器可以精确复现,抽屉的关节约束与把手位姿都是显式的;世界模型也能做,但它只能看到单视角,抽屉铰链的转动角度在画面里很难精确表达。按路由表:仿真器为主,世界模型只用来修饰外观。在实际系统里,这类段通常直接走仿真器,因为显式关节状态对后续段的场景初始化有用——段 3 需要知道抽屉开口多少,而这个状态只有在仿真器里是显式的。
- 段 2 抓杯子:ρ 低。路由表的「中 ρ、中 κ、高 η」行要求仿真器但有防护。防护是什么?是「段的起始位姿必须来自真实状态而不是估计」:抓取段可以在仿真里以「已给定杯子位姿」的方式执行,不需要从像素里估位姿。这是仿真器路径相对世界模型路径的一个结构性优势:仿真器路径可以把估计偏差压在段外,世界模型路径无法把估计偏差与预测偏差分开。
- 段 3 移入抽屉:这是最难的一段。η=0.85,因为成败取决于抽屉的开口大小与杯柜深度——这两个量都不在段的画面里,甚至不在段的视觉历史里。世界模型在这一段会画出「杯子飞进抽屉」,但抽屉开口的精确几何无从得知。结论:仿真器。而且这一段的仿真器路径必须从段 1 结束时的仿真状态继续,不能重新初始化场景——否则开口大小会丢。
- 段 4 关抽屉:与段 1 对称,仿真器为主。
四段全部路由到仿真器,只有段 2 需要特殊防护。这是一个合理的结论吗?不一定。如果任务是「打开冰箱门往里看一眼」「把杯子从桌面搬到桌面另一边」,段类型会变化,路由表会给出不同的答案。
这个走查里最需要解释的是段 3:它的判据组合(中 ρ、中 κ、高 η)不是因为接触难,而是因为状态难。如果只看 κ,段 3 看起来是个「中接触的移动段」,可能会被误判为世界模型可做。这就是为什么必须把 η 作为独立判据引入。
段内再切:一段跨两个参考系时怎么办
「不变量二」要求段内参考系唯一。但有些段天然跨两个参考系。经典例子:「抓取开关并把抽屉拉开」。抓取动作的参考系是开关,拉开抽屉的动作参考系是抽屉本体(抽屉的滑动方向与把手的位置关系)。如果只用开关一个参考系,拉开抽屉那一段的动作会被整体搬到新场景里,但新场景抽屉的滑动方向可能与演示不同(抽屉在柜子里,方向由柜子决定,不随演示而变),于是动作就被带歪。
解决办法是在段内再切一次,在参考系切换的时刻补一个边界:
σk→(σk,a:以开关为参考系, σk,b:以抽屉为参考系)两个子段之间的接缝就是新的「段边界」。这带来一个问题:这个新段边界是不是也需要重新走一遍判据计算? 答案是需要,但不能直接照搬:
- ρk,a 与 ρk,b 可以分别算,因为各自的参考系物体不同。
- ηk,a 与 ηk,b 也可以分别算,但 ηk,a 会包含「开关初始位姿」,ηk,b 会包含「开关被拉动后的状态」,两者之和大于原来的 ηk。
- κ 在两个子段之间不是可加的:接缝处往往就是接触状态变化最大的地方(从抓开关到拉抽屉,接触从「夹」变成「夹着并滑动」)。
所以「段内再切」之后,路由的计算要按子段独立做,但 κ 在接缝处要额外标注为「高变化区」,不让它被任何一个子段的 κ 吸收。这一点在「切段边界的接缝」一节会说。
边界从哪来:事件检测、变点检测与合并
前面的走查假设段是给定的。自动切段的第一件事恰恰是找到边界。可行的方法分三步,前两步产生候选边界,第三步把候选合并成最终段。
第一步:事件检测。 段边界最可靠的信号是「某个物理事件发生了」:夹爪闭合、接触力上升沿、物体开始移动、关节到达限位、物体脱离夹爪。这些事件在信号里都是突变,检测方法很朴素——力信号的导数超过阈值、夹爪开度跳变、物体速度从零变非零。DynaMimicGen 用的正是这一类「子任务完成度指标」,它明确写道:仿真里这些信号现成可用,真机上则退化为人工标注。
第二步:变点检测。 事件检测只能抓住「有明确物理事件」的边界,抓不住「技能风格变了但没有事件」的边界(例如从慢速接近切换到快速移动)。这一类边界要靠状态序列的变点检测:把状态轨迹(关节角、末端位姿、触觉特征)按时间分段,找段内统计特性一致、段间差异最大的切分点。离线技能发现里的贝叶斯非参数方法就是干这个的,它把「有多少个技能」当成一个非参数贝叶斯模型里的隐变量,让数据自己决定段数。
第三步:按代价合并。 前两步给出的候选边界通常过多——每一次力的小起伏都会被当成一个候选。合并的判据不能是「边界是否显著」,而应该是「这个边界是否改变了引擎选择或参考系」。写成目标函数:
J(B)=k=1∑Kemin Ce(σk)+λ(K−1)其中 B={b1,…,bK−1} 是边界集合,λ 是每个接缝的等效代价(包含状态交接、时序对齐与接缝误差)。合并的规则是:只有当切开后两段的引擎代价之和比整段的最优引擎代价低出超过 λ 时,这个边界才保留。
这个式子给出了一个很有用的推论:边界的最优数量不是由「技能数量」决定的,而是由「引擎切换带来的收益」决定的。一个任务在物理上有八个技能,但如果八个技能都路由给同一个引擎,最优段数可能是二——因为多切六个边界只会增加接缝误差。反过来,一个物理上只有两段的任务,如果两段的判据差到必须换引擎,最优段数就是二。
这条推论解释了为什么「按技能切」在工程上总是切得过细:技能的定义来自行为分析,而路由只关心引擎选择。两个视角的最优粒度不同,系统必须以后者为准。
让流程自动化:把走查变成系统
手工走查一遍容易,自动化要走三步:
- 从源演示中自动提取段边界(基于上一节的接触事件计数与技能可分性判别器)。
- 对每个段(或子段)计算判据向量。
- 对每个段跑路由函数,得到引擎与防护措施。
这三步里,最脆弱的是第一步,而上文的三步边界提取正是对它的一种实现。DynaMimicGen 的实际做法可以作为这个流程的参照:它先把演示解析成以物体为中心的段(每段相对某个物体的坐标系定义),子任务序列是已知且有序的,段边界由子任务完成度指标自动检测;真机上无特权状态时退化为人工标注。段解析出来后,用 DMP 为每段编码一条在笛卡尔空间里的平滑轨迹,并按新场景的物体位姿做调制。

这张图是 DynaMimicGen 的框架总览。从左到右依次是「把源演示解析为若干段」「为新场景生成新轨迹的执行流程」。图上标出了子任务序列、当前观测、执行段、插值到起始与变换段这些步骤。最需要留意的地方是「插值到起始」这一步——段与段之间的接缝被显式地当成一个需要生成的对象,而不是让执行器自己飞过去。这正是前文接缝一节所说的「接缝数要计入代价」在工程里的体现。
另外,判别器在边界附近退化,所以段边界只能用「候选边界 + 一个不确定区间」表示,后面的段计算必须在不确定区间内做敏感性测试。下一节讲判据出错的影响,再下一节讲接缝。
自动化带来的新误差:判据本身也会出错
人工切段的最大问题是不可扩展,但它有一个隐藏好处:切段的人同时知道判据的不确定性。工程师知道「这个把手被手挡住了,所以开抽屉那段的位姿其实估得不准,但我照样敢用仿真器,因为我清楚仿真的误差来源」。自动化把这份判断固化成了阈值,而阈值一旦固化,判据出错时就没人兜底。
这一节把判据出错的后果算清楚。
判据误差的三层
把判据误差按来源分三层:
- 观测误差:位姿估计器、力传感器、触觉阵列本身的噪声与偏差。
- 段边界误差:段边界找错,导致判据在错误的区间上计算。这是判别器在边界退化带来的。
- 判据—真实误差的映射误差:即使判据算得准,判据与「该引擎在该段上的实际误差」之间的映射函数(路由表)也可能是错的。
这三层里,第二层最容易被忽视,但它影响最大。
边界误差如何污染判据
假设判定器把段 2 与段 3 的边界从第 150 帧错判到第 160 帧。这 10 帧本来属于抓取段末、移入段初——通常是接触力从「稳定夹持」变成「开始滑动」的位置。错判导致:
- 段 2 的 κ 偏低(它丢掉了接触力变化的那 10 帧)。
- 段 3 的 κ 偏高,而且 nevt 会被这 10 帧拉高,因为接触变化集中在这里。
于是路由会被推向两个相反方向:段 2 看起来更「自由空间」、更可能被交给世界模型;段 3 看起来更「接触密集」、更可能被交给仿真器。而实际上,如果段边界是对的,段 2 末尾就是「抓握稳定」——这一段仿真器很可靠,世界模型却完全不可靠(稳定夹持在世界模型里没有接触力的证据)。
也就是说,边界误差会系统性地把接触段错分给世界模型,而且错的方式不像随机噪声那样可以抵消——它总是把接触事件推到相邻段里。
这类误差有一个典型的放大机制,就是资产层面的几何改动。Function-Preserving Data Generation for Zero-Shot Real-to-Sim-to-Real Manipulation 报告了一个具体问题:常见的形状增广会把任务关键的接口扭曲,造成「装配配合对不上」或「互相穿模」,使得下游交互直接不可行。这张图左侧把这条流水线拆成几何感知的重建、保功能形状增广、Sim2Real 数据生成与轻量标注四段,右侧把形状改动约束在「身体与头部」这类非接口部位、对接口部位用保滑移的 ARAP 求解保持贴合。

把这件事放回判据的语境:形状增广改变的是物体的几何,而几何正是 ρk 的本体(位姿估计器依赖物体的几何模型)。如果一个段的参考系物体被增广成了「配合对不上」的形状,位姿估计器的置信度会下降,判据会把这一段判成低可观测,进而把它推出仿真器路径——但这不是因为它真的不可观测,而是因为资产已经错了。资产误差会伪装成观测误差,这是判据一层里最容易混淆的地方:位姿估计器不可靠,与物体几何模型错了,在 ρk 上长得一样。
判据—真实误差映射的可靠性
第二层(边界)与第三层(映射)叠加后,会得到一个重要结论:路由的收益不是判据准度的线性函数。把位姿估计器从 70% 准确率提升到 80%,路由的整体成功率可能只提升 2%;但把边界误差从 ±10 帧缩到 ±3 帧,路由的整体成功率可能提升 10%。原因是边界误差影响的是「接触事件的归属」,而接触事件是路由表里所有规则的分界线。
这条结论在设计自动切段系统时非常有用:优化判据计算精度不如优化边界定位精度。这也是为什么 DexSkills 的论文在报告 76% 准确率的时候,也坦白地指出 flip/release 这类短技能容易被混淆——短技能的边界更难定,混淆的结果就是把接触事件放错位置。
判据出错时如何保底
判据出错不可避免,所以系统必须保底。三个可行的保底手段:
- 边界不确定区间 + 敏感性测试:把段边界表示成区间 [tk−Δ,tk+Δ],在区间内做几次路由,如果几次结果一致才接受;不一致就交给 HYB 或 REFUSE。这与上文的
u_rho拒绝条件同源:结果在不确定区间内不稳定时,拒绝是更安全的选择。 - 判据的交叉验证:用三个判据分别路由,如果三者结论冲突,取最保守的那个。这一点与「拒绝优先」不变量一致。
- 路由结果的在线回看:生成完一段后,在仿真里(或世界模型的潜空间里)重放这一段,看结果是否在容差内。这一步是段级的验收,成本是段级而不是轨迹级,比第二十四篇的整条轨迹过滤便宜得多。
三个保底手段叠加之后,自动切段的系统就有一个稳定的底座:最差情况是「多拒绝了一些段」,最好情况是「正确路由了所有段」,而不是「错误路由了所有段」。
一个需要显式承认的边界
判据的三层误差里,判据—真实误差映射(第三层)是路由表本身的局限。路由表是基于「这一类段在这些判据下,引擎误差大概多少」的先验写成的,而实际的段有大量个体差异(同一个拧螺母任务,不同螺纹间隙、不同夹爪、不同相机的段,误差完全不同)。路由表无法把这些差异都表示出来。
承认这个局限的正确做法不是把路由表写得越来越细(那会变成过拟合到具体任务),而是把路由表写成「判据 → 误差量级的先验」,然后让每个段的实际误差由后面的段级验收来修正。换句话说:路由表负责「选对方向」,验收负责「修正幅度」。两者分工清楚,系统才不会把路由表当成真值。
切段边界的接缝:判据在段与段之间跳变时怎么办
路由到不同引擎的段之间会形成「接缝」。前一节讲的是边界判错会污染判据,这一节讲边界判对之后留下的另一个问题:两个引擎在接缝处的状态不一致。
三种接缝
按两段的路由结果,接缝分三类:
| 接缝类型 | 形状 | 主要风险 |
|---|---|---|
| SIM → SIM | 两段都在仿真器里 | 状态可连续传递,风险低 |
| SIM → WM | 仿真器结束,世界模型接续 | 几何、位姿、相机内外参需要在接缝处对齐 |
| WM → SIM | 世界模型结束,仿真器接续 | 没有真值状态可注入,仿真器只能靠位姿估计初始化 |
第一类是最稳的,因为仿真器的状态是连续的,接缝只是控制流的切换。第三类最危险,因为世界模型没有给出任何可用的状态量,仿真器只能靠「从生成视频里估位姿」来初始化——而位姿估计器在接触密集处的成功率 ρ 恰恰最低。第二类居间,但它有一个特有的问题:世界模型对起点非常敏感,接缝处仿真器的像素与生成模型的先验不一致,会产生跳变。
SIM → WM 接缝:把显式状态翻译成视觉条件
仿真器结束时,它可以给出完整的场景状态:所有物体的位姿、关节角、相机内外参、光照。世界模型需要的输入通常是「首帧图像 + 一段动作前缀」。所以接缝的工作是把显式状态渲染成一张首帧,并用首帧初始化世界模型的视觉历史。
这一步的误差不是「渲染不准」那么简单。问题在于,世界模型对首帧有极强的先验:它会「认」出一张桌子、一个抽屉、一个杯子,并按自己的先验继续画。如果仿真器渲染的抽屉看起来像塑料,世界模型就会按「塑料抽屉」的物体属性继续预测(轻、会弹),而不是按仿真器里的「金属抽屉」(重、阻尼大)。这就是第二十五篇讲过的「世界模型的物理属性来自先验,不来自输入」。
减小这个误差有一条实用的做法:让仿真器在接缝处渲染得更接近真实相机的成像(加噪声、加镜头畸变、加光照变化),让世界模型的先验不必做大幅度调整。这是从图像域适配借来的思路,但它只在视觉层面有效,物体属性层面的不一致无法通过渲染修正。
WM → SIM 接缝:从生成画面中初始化仿真器
这个方向的风险最大,因为它要求从像素里恢复仿真器的初始化状态。可行的做法有三:
- 只恢复段内可见物体的位姿,段外状态沿用上一次仿真器知道的状态(前提是这条轨迹的仿真器段有连续的状态历史)。
- 用生成画面做位姿估计时,强制与仿真器的状态历史一致:把仿真器上次结束的状态作为位姿估计的初值,不要让估计器自由搜索。
- 接缝处拒绝交接:如果 TWo′ 的估计置信度低于阈值,这一段就转而交给仿真器重新初始化场景(但重新初始化会丢掉世界模型段里产生的场景变化,例如世界模型段里夹爪撞歪了一个杯子,仿真器不知道)。
第三种做法是最保守的,它等价于「接缝处丢弃世界模型段带来的所有场景状态」,代价是这条轨迹的中间段可能对不上。实际上很多系统会选择它,因为重新初始化比带错初始化可靠。
接缝的时序对齐
除了状态对齐,还有时序对齐。世界模型段与仿真器段的帧率、动作频率、控制延迟都不同。如果直接拼接,会出现:
- 世界模型段每帧时长 1/8 秒(低频生成),仿真器段每帧 1/50 秒,拼接处时间轴不连续。
- 世界模型生成的是「视觉上的下一帧」,仿真器生成的是「物理上的下一步」,两者的时间语义不同。
- 动作标签在两个引擎里格式不同:仿真器的动作是精确的关节角,世界模型的段只有粗略条件。
时序对齐的做法是把两段都重采样到统一的控制频率(例如 30 Hz),并把动作前缀重写成仿真器的控制接口格式。重采样会引入插值误差,这是接缝处的第三类误差来源。
接缝处的误差可加性
把三类误差写成可加的:
δseam=位姿/状态错位δstate+Jstate⋅物体属性先验差δattr+重采样误差δtimeδstate 是两个引擎在接缝处的状态估计差,δattr 是世界模型自带先验与仿真器物体属性之间的不一致,δtime 是重采样误差,Jstate 是状态差对后续段的影响增益(通常大于 1,因为段内动力学会把状态差放大)。
这个式子与第二十五篇的复合误差式子是同一个结构:接缝误差会被下游增益放大。所以接缝数越多、接缝越晚,整条轨迹的误差越大。一条轨迹里不同引擎交替的段数应该被限制在一个较小的值,而不是越多越「各取所长」。
一个具体的接缝设计原则
从上面的分析可以总结几条接缝设计原则:
- 把接缝放在状态最稳定、接触最低的时刻。例如在夹爪完全离开物体的自由空间段中间切,比在刚夹住物体的瞬间切要稳得多。
- 优先让世界模型在前、仿真器在后,而不是反过来。原因是世界模型段的开头不需要状态注入,它的初始化只需要首帧图像;而仿真器段的开头需要状态注入,从一个有真值状态的仿真器段开始更容易。
- 接缝处保留一个「重叠窗口」:让两个引擎各覆盖一小段重叠区间,重叠区间内比较两边的物体位姿,偏差大就重新路由。
- 接缝数要计入路由的代价函数:每多一个接缝就多一份 δseam。路由函数在选择引擎时,应该把「整条轨迹的接缝数」作为一个惩罚项,而不是逐段独立地选最优。
第 4 条原则把路由从「逐段最优」变成了「整条轨迹次优」。这是一个重要的取舍:逐段最优会导致频繁切换引擎,整条轨迹的接缝误差超过单段换引擎省下的误差。
与「段内再切」的关系
上一节讲「段内再切」时,新段边界不是换引擎的接缝(两段可能都路由给仿真器),但它同样是状态要接的地方。段内再切的接缝实际上是「参考系统切换」:段 a 以物体 o1 为参考系,段 b 以物体 o2 为参考系,两者之间的接缝要保证 o1 与 o2 的相对位姿一致。这在仿真器里是自动的(仿真状态里两者都在),但段内再切的目的是让两段的动作分别在不同参考系下被重定位,所以段 a 与段 b 各自被重定位到新场景后,o1 与 o2 在新场景里的相对位姿可能不一致——段 a 的 o1 被重定位到一个位置,段 b 的 o2 被独立地估到另一个位置,两者不保证满足原来的相对关系(例如开关与抽屉本该在一条直线上)。
这是段内再切特有的误差:相对位姿漂移。防止它的办法是在切之前先校验 o1、o2 的位姿估计是否满足原来的相对约束;不满足就退回整段一个参考系,接受动作被带偏的风险。
与自演化数据引擎的关系:切段是反馈回路里的一环还是独立一层
前面所有内容都在回答「一段交给谁」,隐含假设是「要生成什么」已经确定。但近两年的数据引擎系统把问题推远了一步:它们不只是生成被要求的段,而是自己决定该生成什么。这一节讲自动切段与这类系统的关系,以及把路由作为一个前置层与把它作为一个反馈环内环节的区别。
两个已发表系统的做法
CoDA(2026 年发表在 arXiv,CoDA: Co-Evolution of Data Engines and Action Policies)的核心观察是:物理上合法的环境不一定对训练有用。它引入一个共享的异构记忆,记录环境构建、策略失败与学习进度,用一个视觉语言评审器把失败编译成「诊断」,再把诊断编译成两类程序:复现困难的环境构建程序与帮策略克服困难的训练程序。它报告,在四个操作任务族上,同一生成预算下,分布外成功率从一个监督微调后的起点提升到更高水平,LIBERO-Pro 上经过多轮生成—训练,位置扰动下的成功率从 25% 提升到 84%,指令扰动下从 1% 提升到 76%。
Seed2Scale(2026 年 3 月提交到 arXiv)从四个种子演示出发,让一个小型 VLA 模型做数据收集器、一个预训练 VLM 做验证器打分过滤,再由目标模型学习;随后进入「平行世界扩展」阶段,把演化出的轨迹投影到同一任务的不同环境中,以获得场景多样性。论文报告零样本真实环境成功率 75.38%,而基线完全失败。
两个系统关心的都是「补什么」:CoDA 从失败诊断出发补困难场景,Seed2Scale 从模型反馈出发补多样性。它们都默认「一段用哪个引擎」这个更细的问题已经有答案。
前置层 vs. 反馈环内环节
自动切段可以放在两个位置:
- 前置层:在生成开始之前,把一条任务切成段、每段选引擎,然后交给下游引擎执行。优点是被路由的决策有全局视角——它能在一开始就看到整条轨迹的接缝数、总成本与总误差;缺点是它不知道生成后策略在哪里失败,路由只能基于判据先验。
- 反馈环内环节:把路由作为 CoDA 式记忆的一部分,每一轮根据上一轮策略的失败样本重新切段、重新路由。优点是路由能响应用户关心的失败;缺点是每轮重切都会造成接缝不稳定,前一轮生成的段可能在下一轮变得不该用。
一个折中的设计是双层:外层(前置)负责确定段的整体结构与默认引擎,保证整条轨迹的接缝受控;内层(反馈)只在失败集中的段附近允许改路,并且把改路限制为由 SIM 到 REFUSE 或由 WM 到 SIM 这种「更保守」的方向,不允许反向。
这个约束的理由很直接:反馈环里策略的失败样本本身就带有噪声(一个段失败可能是因为上游段出错,也可能是策略本身问题),把一次失败直接当作「这一段该换引擎」的证据,很容易形成错误的反馈回路。偏向更保守的方向,相当于让反馈环只在「发现生成数据不可靠」时起作用,而不是在「觉得换个引擎更好」时起作用。
切段与「补什么」的交汇点
自动切段与 CoDA/Seed2Scale 的交汇点,其实在 η 判据上。CoDA 从失败诊断出发识别「环境构建」里的难点;这些难点往往就是 η 高的地方(依赖场景状态、依赖前序段结果)。Seed2Scale 的平行世界扩展本质上是在扩大「任务的不同环境影响」,而 η 判据恰好能告诉系统:扩出来的环境里,哪些段的判据会变差(例如换了抽屉,开口大小的可估性下降)。
所以两层系统能互相提供有用的信息:CoDA/Seed2Scale 告诉路由「哪些段值得多生成」,路由告诉它们「哪些段在当前判据下不可靠、应该被拒绝」。两者合起来,才能让一个自演化数据引擎既有方向感,又不至于生成一堆看起来像数据、实际上把策略带偏的样本。
一个未解的问题:段级的信用分配
把路由放进反馈环会引出一个还没有好答案的问题:当一条轨迹被策略判为失败时,是哪个段的责任? 一条四段的轨迹失败,可能因为第一段开抽屉没开到位,也可能因为第四段关不上。CoDA 用视觉语言评审器做诊断,但诊断粒度是「环境—失败」级别,而不是段级。段级信用分配需要把失败回溯到段的边界上,而这又与前面讲的边界不确定区间纠缠在一起:边界越不确定,信用分配越难。
这是这个方向目前最开放的问题,也是后续可以继续往下写的一条线。下一篇会讨论它的一条具体切入点:把段边界当成可学习的量,让边界与引擎选择一起被优化,而不是先切段再路由。
工程坑
前面各节讲的是机制,这一节把落地上最容易踩的几个坑挑出来。
坑一:用整段平均判据做路由
rho 取段内平均是最直观的写法,但也是最容易骗人的写法。抓取段的典型分布是「前一半可用、后一半完全遮挡」,平均值可能是 0.5——正好落在「中可观测」的区间里,被路由表当成「需要防护但可行」。实际上后一半是完全不可用的子区间,任何依赖位姿估计的防护都失效。
对策是上一节讲的 rho_win(最长连续可信窗口占比),并且把「不可信子区间」的起止位置一并带进路由,让防护措施能精确地作用在不可信区间上。
坑二:把 κ 当成「接触越多越难」
κ 高不等于段难。稳定静摩擦的平移段 κ 也很高,但它对仿真器是简单的,对世界模型也只是「画得出来」。真正难的是 κ 高且 nevt 高——接触状态不断变化,仿真器的摩擦锥近似与求解器容差在这里都暴露出来。
对策是把 κ 与 nevt 分开看,并且路由表的分档要在二维上而不是一维上。
坑三:判据计算频率与段边界的频率错配
力信号 1 kHz,位姿 10 Hz,视频 30 Hz。如果段边界以视频帧为单位,力信号里 1 kHz 的分辨率就被浪费了;如果段边界以力信号为单位,位姿就只能在 10 Hz 的网格上取值。频率错配会让「接触事件」的时间戳与「位姿变化」的时间戳对不上,而这个错位正好发生在段边界附近。
对策是把边界的时间戳定义为「多信号都跨越的事件时刻」的置信区间,而不是某一个信号的精确时刻。前文讲边界不确定区间时已经给出做法。
坑四:把路由做成逐段最优
逐段套路由表,看起来每一段都是最优选择,但整条轨迹会因为切换次数过多而接缝误差超标。前一节的第 4 条接缝原则已经点出:路由的代价函数里必须带接缝惩罚项。
对策是把路由写成一个整条轨迹上的动态规划:状态是「当前引擎」,转移代价是段代价加接缝代价,最优路径就是路由结果。这会把问题从一张规则表变成一个短路径搜索,但它带来的收益是整条轨迹的误差可控。
坑五:资产误差伪装成观测误差
上一节讲 Function-Preserving 时提到的现象要在这里再强调一次:形状增广(或者资产转换)改坏了接口几何,会让位姿估计器的置信度下降,ρ 下降,于是段被路由出仿真器路径。系统看起来是在「正确地」避开了低可观测段,实际上是在「错误地」暴露了资产问题。
对策是在计算 ρ 之前先做一次资产检查:在仿真里把参考系物体渲染出来,与观测里的物体做网格比对,确认几何没有被增广改动。这个检查本身很便宜,但它能把一整类误路由挡在外面。
坑六:在真机上用真值校验判据
真机上没有真值,所以 ρ 只能用重投影误差与多视角一致性估计。开发阶段往往在仿真里用真值调阈值,然后把阈值搬到真机上——但仿真里的重投影误差分布与真机上的分布不同(噪声模型、光照、镜头畸变),阈值搬过去会系统性偏差。
对策是把阈值定义在「相对量」上,例如「段内可信窗口占比」而不是「平均重投影误差的绝对值」,并留出真机校准的少量手工标注。
小结
这一篇把第二十五篇结尾点名的那个问题落到了机制上:一个数据引擎如何自己决定在哪里切段、每一段交给哪个引擎、什么时候拒绝生成。
拆开看,四个层次:
- 切段的单位是带参考系的状态区间。一个段不只是「一段时间」,而是「一段时间 + 参考系物体 + 接触模式 + 模态集合」。少了参考系,段就无法被重定位;少了接触模式,段就无法被估误差;少了模态集合,段就无法判断能不能携带下游需要的标签。MimicGen、SkillMimicGen、DynaMimicGen 都以不同形式把这几样固化在段里,区别只在于哪些字段是人工给的、哪些是自动检测的。
- 判据必须是可观测的。提取成功率 ρ、接触密度 κ(以及它的变化率 nevt)、持久状态需求 η,三者分别对应「段能不能建立」「误差量级多大」「引擎能不能接住」。三者之间是反向关系:接触最密集的段往往提取成功率最低,依赖场景状态的段往往接触很少。这条反向关系是路由设计的核心约束。
- 路由是一个带拒绝门的代价最小化,不是一张简单的查表。拒绝优先、参考系段内闭合、持久状态由仿真器承载,三条不变量保证规则表的稳定性;接缝惩罚把逐段最优改写成整条轨迹上的最优。
- 判据本身会出错,边界的误差比判据的误差更要命。边界误差会系统性地把接触事件推到相邻段,从而把接触段错交给世界模型。所以系统必须留不确定区间、做敏感性测试、做段级验收,并接受一个事实:路由只负责选方向,验收负责修正幅度。
由此得到一个反直觉的结论:自动切段的价值不在于「切得更聪明」,而在于「切得更可扩展、更可解释、可拒绝」。人工切段在几十条轨迹上是更可靠的,但在几千条轨迹、几万个变体上,人工切段会退化成「按任务名切」,也就是本篇开头说的那种注定失效的做法。自动切段的真正收益是把「哪一段不可生成」这件事变成系统的显式输出,让数据引擎能在缺数据的时候诚实地说缺数据,而不是生成一堆看起来像数据、实际上把策略带偏的样本。
从这里还可以往下走两条线。一条是段级信用分配:一条轨迹失败时,到底是哪一段的责任?这需要把边界不确定区间与失败回溯一起处理,是当前最开放的问题。另一条是段边界与引擎选择联合优化:现在的做法是先切段再路由,边界被当成给定的;如果把边界也放进优化变量,让切点与引擎选择一起决定,会得到一个更连贯的系统,但也会让问题变成组合搜索。
这两条线里,第一条是下一篇的切入点——下一篇会把段边界当成可学习的量,讨论如何让边界与引擎选择在同一个目标函数下一起被优化,以及这种联合优化在误差对账上会不会带来新的问题。
参考资料
- MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations
- SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment
- DynaMimicGen: A Data Generation Framework for Robot Learning of Dynamic Tasks
- DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
- Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization
- Function-Preserving Data Generation for Zero-Shot Real-to-Sim-to-Real Manipulation
- CoDA: Co-Evolution of Data Engines and Action Policies
- Seed2Scale: A Self-Evolving Data Engine with Parallel Worlds Expansion for Scalable Robot Learning
- Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation
- Bayesian Nonparametrics for Offline Skill Discovery
- Unsupervised Hierarchical Skill Discovery
- BWM: A Low-Cost High-Fidelity World Simulator for Robot Learning
- AnyTask: an Automated Task and Data Generation Framework for Advancing Sim-to-Real Policy Learning
- HumanoidMimicGen: Data Generation for Loco-Manipulation via Whole-Body Planning
- RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



