正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(二十四):把模型当数据用——世界模型做仿真数据引擎时的失效边界
承接前二十三篇:换一种用法的账
这个系列已经从概念一路走到身体模型。第一篇把世界模型形式化为 POMDP 里的状态推断与动作条件预测;第二到第五篇拆了 Dreamer、JEPA、视频生成模型与 WAM 四条路线;第六到第九篇算了评测、部署、规划与推理系统的账;第十篇把账算到 CMOS 能耗下界;第十一至第十四篇补上了 Dyna、几何、物体中心与分层;第十五篇把所有杠杆汇总成预算地图;第十六篇讲动作怎么进入模型;第十七篇讲长程记忆;第十八篇到第二十篇讲共享状态、闭环误差与跨会话迁移;第二十一、二十二、二十三篇分别把物理结构、触觉与身体模型写进了预测器。
前面二十三篇有一个隐含的共同前提:世界模型是拿来「用」的。在推理时把它当成一个更快的沙盒,让策略在里面规划、评测、试错,然后只把其中一个动作或一个评分带回真实世界。第二十篇和二十三篇结尾点名的那条线索之所以值得单独成篇,是因为它把这前提反过来用——世界模型不再是一个在线的预测器,而是一个离线的数据工厂:它产出的轨迹被写进数据集,然后拿去训练下一个策略,甚至下一代的模型本身。这时模型不服务于某个具体时刻的决策,而服务于下一轮训练的分布。
这两种用法的失效方式完全不同。在线当预测器用时,误差的后果是一件具体的事:动作选错了、撞到了东西、评测分数偏了一个百分点,而且它有反馈可查——预测下一刻和第 t+1 步的真实观测一比就知道了。离线当数据引擎用时,误差的后果是一条被当成真值写进数据集的轨迹,它不会当场出错,而是在几十小时后体现为新策略在真机上的奇怪行为,而中间隔着一次训练,几乎无法归因。本篇要把这层差别讲清楚:世界模型做数据引擎要经过哪几道工序、每道工序有哪些特定的误差源、这些误差怎样沿着「生成—标注—训练」的链条被放大或稀释,以及工程上应该设哪几道防线。
预测器与数据引擎:两种用法,两套失效方式
先把这个区分固定下来,因为后面所有分析的落脚点都取决于它。
在线预测器:误差有闭环
在线把世界模型当预测器用时,它的输出直接进入一个闭环。每一步,策略根据当前观测和世界模型的预测给出动作,动作执行后又得到新的真实观测,世界模型再基于这个新观测往下推。
第十九篇讲过,这种闭环里的误差有两个走向:预测误差和策略自身的误差可以互相抵消,也可以互相放大,取决于闭环系统矩阵的特征值。但无论哪个走向,都有一个共同点——下一时刻的真实观测会立刻到达。预测「杯子将会倾倒」而实际没有倾倒,差距在同一帧内就暴露了;这个差距立刻影响下一步的决策,也立刻可以被记录成日志、被拿去修正模型。第十九篇详细算过这条递推,结论是:只要反馈通道是通的,误差不会累积到不可控,它会被闭环定期「校准」。
在线使用还有一个特点:每一次推理的输入都是真实的。输入观测来自真实传感器,前一时刻的状态来自真实执行结果。世界模型只负责「推演一个短窗口」,从不负责「编造一个起点」。这就把误差源压缩到了一种:预测误差。
离线数据引擎:误差只有写盘那一刻
当世界模型被当作数据引擎时,这个闭环被切断了。它的典型形态是 DreamGen(arXiv:2505.12705,2025 年 5 月发布)这样的四步流水线:先在目标机器人上微调一个视频世界模型,再以「初始帧 + 语言指令」为提示批量生成机器人视频,然后用一个逆动力学模型或潜动作模型为这些视频补上动作标签,最后把「视频—动作」对批量写进训练集,去训练下游的视觉运动策略。整个过程中,生成出来的一条轨迹从头到尾没有一处被真实传感器校验过——只有第一帧可能来自真机片段,之后每一帧都是模型想象的。
这样一来,误差源一下子多了好几层:
- 起点误差。初始帧如果是真机采样的,没问题;但 DreamGen 这类系统为了覆盖新任务,会从模型自己「想象中的环境」里取初始帧,起点本身就可能偏离真实分布。
- 动力学误差。模型推演的每一步里,物体间接触、抓取刚度、变形、遮挡都可能与真实不符。视频画面看起来像那么回事,不等于物理上对。
- 标注误差。视频里没有动作,必须经过一个逆动力学模型反推动作;即便推对了「动作应该是什么」,反推出的动作与真实遥操作数据里同一动作的数值编码是否对齐,也是独立的一项风险。
- 语义误差。指令匹配吗?「把杯子挪到左边」而在视频里实际挪到右边,这种偏移在训练时会教出与指令无关的行为。
- 分布误差。合成轨迹的采样范围与真实任务执行分布是否重叠,决定了合成数据是补充长尾,还是在重复已经会的东西。
一个粗略的对照可以直接写出:在线预测器的失效是一次决策的失效,离线数据引擎的失效是一个批次的失效。后者被写进数据集之后,会通过后续的训练扩散到策略的每一个参数上。
为什么必须区分:训练动力学里不存在这个区分
第九篇与第十篇推理账本里,世界模型的代价被算成「每生成一秒世界要付出多少算力」。当数据引擎后,这个账变了。数据引擎的账不是算「实时」的账,而是算「每条轨迹值多少训练收益」的账。一条生成轨迹生成得快、看起来漂亮,如果不能提升下游策略的样本效率,就只是训练集里的噪音;而一条稍丑但真正把接触动力学推对的轨迹,可能抵得上十次真机采集。
所以本文沿用的记账单位不是延迟,而是「一条合成轨迹对下游策略的边际价值」——训练收益减去它可能引入的分布偏移和错误。后面出现的每个机制、每道防线,都在这笔账里各自承担一部分。
流水线拆开:一条合成轨迹是怎么被造出来的
把世界模型当数据引擎,最典型的施工图是 DreamGen 的四步流水线。官方论文把它称为 neural trajectories——神经网络轨迹;这个名字本身就说明了产品的本质:它不是真实轨迹,它是一段由网络想象出来、再被网络打上动作标签的轨迹。

上图是 DreamGen 论文的总览图。左侧「Fine-tuning video world model」是把遥操作的机器人轨迹喂进一个视频世界模型,让它认识这台本体;中间「Generating neural trajectories」给模型一张初始帧加一句语言指令,让它续写出整段视频,视频下方那几条彩色时间线就是不同任务、不同环境的采样;右侧「Pseudo Action Extraction」用逆动力学模型(inverse dynamics model, IDM)或潜动作模型(LAPA)把「帧 t 与帧 t+1」的像素变化翻译成动作;最右「Training policy」用这些「视频—动作」对训练下游视觉运动策略。四道工序里有三道在引入或放大误差,而它们串成一条链,每一道的误差都会成为下一道的输入偏差。
第一道:微调,把通用视频先验接上目标本体
第一道工序是让一个通用的图像到视频生成模型认识目标机器人。通用的视频生成模型在大规模网络视频上训练,它懂「杯子被拿起后会悬空移动」「门被推开会旋转」这类常识,但它不认识这台具体机器人的视觉形态、关节长度比例、夹爪的运动方式,更不知道这台机器人的控制频率。所以 DreamGen 的第一步是在目标机器人的遥操作数据上微调。这一步有两个作用:一是让模型看到本体的像素外观,二是让它学到这个本体的运动学约束——比如机械臂两段长度固定、夹爪行程有限。
这一道工序里最容易被低估的问题是微调数据的量与覆盖。DreamGen 的原始设定是「单一拣放任务、单一环境」的遥操作数据非常少,而微调之后模型要能生成 22 种新行为、并在见过的和没见过的环境里都成立。这个能力之所以成立,几乎全靠通用视频先验——微调只是把「这是这台机器人」这条注入进去。这意味着模型的动力学大部分是从通用视频里借来的,而通用视频里没有这个本体的真实动力学。微调越少,本体的物理越依赖先验,误差越大。这是一道先天结构性的误差源:你越想省真机数据,就越要把本体的物理交给先验去猜。
第二道:生成,一个起点加一句指令写出整段轨迹
第二道工序是提示生成。给模型一张初始帧和一句指令,它按给定步数逐帧续写。视频世界模型与在线规划器用的世界模型在接口上几乎相同——都是 xt+1=fθ(x≤t,at) 这一类的下一帧预测——区别只在谁输出动作。在线规划器是让策略给出动作,世界模型预测结果,策略再选动作;这一道工序则是让模型自己「想」出动作,只把结果画出来,等下道工序再把动作反推回去。
这里有一个结构性的偏移要先点明:生成的目标是「像」,而训练的目标是「对」。视频生成模型的训练目标是让生成画面尽可能接近真实观测的分布,它在优化的是像素层面的预测。于是它天然学会了「让画面看起来合理」的一切技巧:纹理补全、光照一致性、运动平滑。但它没有一项训练目标要求它把接触刚度、抓取失败、物体滑落这些不常见但训练需要的边界事件推对。第六篇讲过的物理一致性测试,恰恰是生成模型训练分布之外的那部分。
这一点在 GigaWorld-1(arXiv:2607.02642,2026 年 7 月发布)关于世界模型当策略评测器的系统性研究里有一个清晰的结论:评测器的质量主要由长程、动作忠实的轨迹一致性决定,而不是短期视觉真实感。也就是说,视觉漂亮与「能否拿来评价」几乎不相关;同样的判据搬到数据引擎里,视觉漂亮和可用来训练之间也不相关。
第三道:动作提取,像素差怎么变成动作标签
第三道工序是整个流水线里最容易被忽视、但结构上最危险的一道。视频模型只生成画面,不输出动作;而下游策略训练需要「动作—观测」对。DreamGen 用两条路线把动作从视频里「反推」出来:逆动力学模型(IDM)与潜动作模型(LAPA)。

上图是 DreamGen 论文里的逆动力学模型结构图:左侧是视觉编码器把两帧相邻画面分别编码,右侧是动作解码器,它按动作流匹配(flow matching)目标回归出这两帧之间的一段动作,而不是单个动作——论文里 IDM 预测的是帧间隙里的动作块(action chunk),粒度与下游策略的动作块一致。IDM 的训练口径是监督式的:用真实遥操作数据里的(帧 t、帧 t+1、真实动作块)三元组训练它,输入里刻意不喂语言和本体感受,目的是让 IDM 只捕捉机器人自身的动力学。所以在真实视频上,IDM 学会的是「这套运动对应这段动作」。
但 IDM 被用在了合成视频上,问题来了:IDM 的训练分布是真实的运动,生成视频的运动分布在本体的细节层面和真实有偏差——比如一条机械臂在合成视频里只走了 3 度的弧,真实对应动作可能是 6 度;再比如合成视频里夹爪的闭合时间比真实早两帧。IDM 会把这类偏差按「在训练数据里长得像的动作」翻译出来,而它没有任何依据知道「这是生成视频」。
更危险的是,IDM 的输出是回归网络,回归网络在分布外的输入上往往给出「平均值」式的答案。合成视频里出现了一个真实数据从未有过的失败画面(物体滑落、机械臂绕到背后),IDM 会给出一个似是而非的平均动作。这层误差不显眼,因为 IDM 的误差表现不是「输出乱码」,而是「输出了一个合理但不对的动作」。下游训练完全看不出区别。

上图是 DreamGen 里 LAPA 路线的结构:一个 transformer 编码器—解码器,用 VQ-VAE 目标训练,让编码器把「当前帧 + 一秒后的帧」压缩成一串潜动作,解码器再用这串潜动作重建出第二帧的画面。训练完成之后,这个编码器对任何视频片段都能输出一串潜动作向量,DreamGen 取量化之前的连续嵌入作为动作标签(沿用了 GR00T 的做法)。它相对 IDM 的一个结构优势是:在训练分布外它仍然会输出「一串潜动作」,而不是像回归网络那样退化成一个平均值;而且潜动作空间是按「帧间视觉变化」定义的,与具体本体的关节空间解耦,跨本体迁移更容易。
但 LAPA 路线有另一项结构性代价:它的潜动作空间是自定义的,不是机器人的真实动作空间。要把它翻译成策略用的动作,必须再训练一层,或要求策略直接输出潜动作。前者把误差再叠一层,后者把策略的动作接口绑死在潜动作空间上。这与第十六篇讲动作接口时提到的「跨具身对齐」问题在同一个层次:只要视频世界模型不输出真实动作,动作标签就必然要靠一个反推的、或自定义的中间层来构造。
第三道工序讲完,可以给出一条清晰的结论:数据引擎里最贵的误差不是生成误差,而是标注误差。生成误差表现为「画面不像」,人一眼能看出来,过滤掉即可;标注误差表现为「画面像、动作贴错」,人看不出来,训练也看不出。
第四道:下游训练,误差在这里被扩散
第四道工序把前面三步的产物写进下游策略的训练集。这一步表面上是中立的——它只是把数据混进训练集而已。但策略训练是均值型优化:它不区分「这条数据是真实的」还是「这条数据是合成的」,只把所有样本加权后求梯度。这意味着如果合成数据与真实数据的某个特征统计有偏差,梯度会把这个偏差朝合成数据的方向拉。
更隐蔽的是奖励和判据的缺失。真实遥操作数据背后有一个隐式判据:操作者知道自己在做什么、成功了还是失败了;所以失败数据会被标注或剔除。合成视频没有这个判据——生成模型可能产出一段「看着挺对、但实际动作根本不可能完成」的轨迹,它会被当成成功样本写进训练集。下游策略学到的是「按照这种不可能的动作执行就能成功」,真机上执行时才会发现物理上不允许。
这就是第四道工序的失效方式:它不是引入误差,而是把误差从「值得过滤」的状态,转化为「看起来是训练价值」的状态。前三道的误差都可以在各自阶段被标注或过滤,而第四道把数据写成「成功样本」的格式,把错误镶进了成功标签里。
失效边界在哪里:五条分界线
前面拆完流水线后,可以把「世界模型作为数据引擎什么时候会失效」划成五条具体的边界。后面的所有分析、所有防线,都围绕这五条展开。
边界一:生成分布与执行分布的偏移
最简单也最难避免的一类边界。世界模型在生成时被给了「初始帧 + 指令」这个条件,它的采样分布就是条件分布;但策略在真机上执行时遇到的初始状态分布要宽得多:光照不同、物体位置偏了一点、旁边有个人走过、桌面刚被擦过而摩擦系数变了。你在合成分布上训练出来的策略,遇到真实分布之外的状态就会崩。
这条边界有一个可量化的形式。设生成视频的初始状态分布为 pgen(s0),真实执行状态分布为 preal(s0),两类分布的重叠程度可以用覆盖缺口衡量。DreamGen 之所以要以「初始帧」为条件来提示,就是在用真实初始帧来锚定 pgen,让它不飘得太远;但覆盖新环境的初始帧本身也来自模型自己想象的画面,这里的覆盖是「语义上像新环境」,不是「像素上接近新环境」。
边界二:动力学误差的复合效应
第十二篇讲几何世界模型时、第十九篇讲闭环误差时、第二十三篇讲身体模型时,都算过误差的复合效应。数据引擎这里是一个新的复合场景。在线闭环里,误差递推的步数是「一次 rollout 的长度」,通常几十步;数据引擎里,误差递推的步数等于一条完整轨迹的长度,而且后续每一帧都由前几帧的误差作为输入——这是严格的开环复合。用第十九篇的框架就是:
εt=k=1∑tdk,tεk(k)其中 εk(k) 是第 k 步引入的即时误差,dk,t 是把第 k 步误差传递到第 t 步的增益。开环时没有闭环负反馈去压制 dk,t,它在很多失败模式下会沿时间轴增长而不是衰减。把误差拆成确定性的分布偏移 μt 与随机部分 ξt 会更清楚:
εt=μt+ξt,μt≈k=1∑tdk,tbkbk 是第 k 步的系统性偏差,例如模型系统性把机械臂画得比真实短一点点。它的后果是后段画面系统性地偏离真实,而前段还看着挺对——这恰恰是过滤最难的地方:一段 60 秒的轨迹,前 30 秒看着自然,第 45 秒开始物体漂移、位置错位。如果视频质量自动评分只看画面是否清晰、动作是否流畅,它恰好会被前段「拉高」。这也解释了为什么第五节会把「长程一致性」当作判据的固定项。
边界三:动作跟随不忠实
这是 2026 年世界模型评测集群里被反复提及的失效。WorldEval(arXiv:2505.19017,2025 年 5 月)的一个核心观察是:直接把机器人动作或高维编码输入给生成模型,往往画不出跟随动作的视频——模型会画出「好看的运动」,但那不是策略给出的动作对应的运动。这在一方面让在线评测失真,在另一方面让数据引擎的标注彻底失效:如果画面根本不跟随输入的动作,那么从画面反推动作就反推出「画面里的运动对应的动作」,而不是「策略想执行的动作」。
这个失效的根因是视频生成模型与动作空间的接口设计。GigaWorld-1 给出了一个具体结论:动作编码方式、记忆设计和针对评测器的后训练,是决定与真实机器人行为对齐程度的关键架构选择。也就是说,动作跟随不是靠增加训练数据解决的,而是要靠接口层面的显式设计——比如把 2D 骨骼投影作为动作条件,让不同的机械臂和人类手都映射到同一套可视化的运动上(OSCAR,arXiv:2606.04463,2026 年 6 月,就采用了这种思路)。
边界四:标注误差——IDM 学到的是「动作长什么样」
第三道工序讲过 IDM 与 LAPA 两条路线;这里把标注误差再单独提出来,因为它与生成误差是不同量级的风险。生成误差可以用人工或自动过滤挡掉——只要有人看视频就能分辨「画面假」。标注误差无法用「看视频」的方式分辨——它藏在「动作标签」里。一条视频看起来完全合理,但 IDM 给出的动作在数值上偏了 20%,训练时策略会把「偏了 20% 的动作」当作正确目标。
这条边界的工程应对之一是多重标注一致性检查:对同一段合成视频,用两个独立训练的 IDM 分别标注,比较输出;对差异大的片段标记出来,或者剔除。这不能完全消除标注误差,但可以把「两个独立回归网络同时犯同一个错误」的概率压到可接受范围。
另一个更结构性的做法是分布外的显式标记:在 IDM 训练时同步训练一个「是否分布外」的判别器,让每条合成视频在被标注时同时得到一个「可信任度」分数。这样标注出来的不只一组数值,还附带一组「这个标注有多可信」的元信息,下游训练可以据此降权或剔除。这与第二十二篇讲视觉—触觉融合时的「模态可靠性判断」在层次上是同一个问题:都是「输入不在训练分布里时,系统应当知道自己不知道」。
边界五:自我污染——合成数据进入下一代模型的训练集
第四道工序之后有一层看不见的失效,直到最近才被当成一个独立问题研究:合成数据一旦被写进训练集,它同时会污染下游策略,也会污染下一代世界模型或更上游的模型。当下游训练集里合成数据的比例越来越高,下一代的生成模型训练集里也会出现越来越多「其他生成模型产出的数据」。这时问题不再是「下游策略能不能学好」,而是「模型本身会不会退化」。
这个问题在图像生成领域已经被系统研究,结论可以被借用过来。MAD(Self-Consuming Generative Models Go MAD,arXiv:2307.01850,2023 年 7 月)把这种反复用合成数据训练下一代模型的循环称为自吞噬(self-consuming)循环,指出它会导致分布尾部(分布末端的小概率样本)的丢失——生成的画面越来越倾向于分布的中部,罕见特征逐代消失。

上图是 MAD 论文 Figure 5 里的一格,取自 MNIST 上的「全合成循环、无采样偏置」实验(论文里记作 λ=1,即每一代只用上一代合成数据训练):横轴和纵轴是 t-SNE 降维后的两维坐标,每一个点代表一张样本,颜色区分原数据里不同的模式(mode)。论文对这张图的说明是「没有采样偏置时,合成数据的各模式会从真实模式漂移出去,并彼此合并」——不同颜色的点团随着代次推进向中心聚拢,模式之间的间隙被填平。这张图是取自第 5 代的单格,论文的图注原话是「生成的模式会逐步漂移、彼此合并」,代次再往后,融合会继续加深,原分布里小概率的结构随之消失。
它的直接推论是:合成数据循环里,分布的结构在代际之间被逐渐抹平,而下游策略恰好需要用到这些小概率结构——罕见物体、罕见姿态、罕见碰撞。这正是为什么第六道防线「下游闭环」必须放在真实环境里做,而不只是看合成分布的统计形状。
反过来,MAD 同一篇论文里还有一条与上图相反的结果——在有采样偏置时(更偏好高质量样本),合成模式不会合并成一片,而是各自向个别高质量图像坍缩(论文 Figure 7 的那组实验,图注原话是「模式漂移并围绕单张高质量图像坍缩,而不是合并」)。两种失败方向不同:无偏置时是模式融合、结构抹平;有偏置时是模式塌缩成「单点」,多样性被抹得更彻底。对数据引擎的含义是:「只保留生成得最好看的那批」并不能保住多样性——质量筛选会系统性地把分布压向少数模式,这正是第五道防线里「代次限制」与「真实数据锚定」必须配合的原因。
对世界模型当数据引擎来说,这一条边界有更强的现实意义:机器人数据本来就稀缺、真机采集极贵,所以合成数据循环的诱惑极大。但一旦形成循环,合成数据与合成数据之间互相加权的梯度,会把模型推向「自我确认的分布」——即上一代模型自己「觉得合理」的那部分,而不是真实世界的尾部。
不过,这条边界也有一个明确的破解口径。递归训练并不必然导致坍缩:用 arXiv:2404.01413(2024 年 4 月发布)的原文说法是,用每一代的合成数据去替换原始真实数据会趋向坍缩,而把连续几代合成数据与原始真实数据累积在一起则可以避免坍缩。这给出了一道对账口径:任何自吞噬循环的工程方案,先要回答「真实数据是否始终保留、并且权重大于合成数据」。
一个判据:什么算是「有效的合成数据」
五条边界划完之后,可以提炼出一个统一的判据。一条合成轨迹是否有训练价值,取决于三个量:
- 覆盖增量:它覆盖的状态分布是否落在真实策略会遇到的分布里、且原数据集里没有的部分。
- 忠实度:轨迹里的动作与画面是否忠实对应;动作标签是否忠实于画面所表达的运动。
- 可归因性:它带来的训练收益能否被归因到「这条轨迹的质量」,而不是「训练集总量变大了」。
这三个量可以乘在一起做一个粗略的判据:
v(τ)=覆盖增量Δcov(τ)⋅忠实度F(τ)⋅可归因性A(τ)Δcov(τ) 是新轨迹 τ 带来的覆盖增益,F(τ)∈[0,1] 是动作与画面的忠实度,A(τ) 是这条轨迹对下游的边际贡献能否被单独评估的概率。三者任一为零则整条轨迹无用——而在这三条里,忠实度与可归因性恰好是最难自动评估的,这就是为什么工程上真正的难点不在生成环节,而在「生成之后怎么判断这条能不能用」。
一道简化的工程判据
实际工程里,这三个量可以落到一行可检查的规则:
- 动作标签必须能通过一次「往回推」的一致性检验;
- 初始状态与指令的组合必须落在真实分布覆盖范围内;
- 视频里出现的物体与任务必须能在真实采集库里找到语义对应物;
- 每条合成轨迹必须带一项「能否被单独归因」的标记——通常是「这条轨迹的原始真实锚点」。
这个判据看起来朴素,但它能挡住上面五条边界里的大部分典型失败。反过来,如果一个数据引擎方案无法逐条满足这四条,它就是一张「画得很像世界的账」,不是一条「有训练价值的数据」。
评测器与数据引擎:同一个世界模型,两种失效
前面拆的是「数据引擎」这一侧的失效。这里必须看一个相邻但同样重要的问题:世界模型当评测器用——也就是第六篇的评测一章里提过、2025—2026 年被集中研究的「世界模型当策略评测器」。它和数据引擎只差一步:数据引擎用生成轨迹训练策略,评测器用生成轨迹打分策略。但它们共用同一个世界模型,所以它们面对的失效方式几乎一样,只是后果不同。

上图是 GigaWorld-1 提出的 WMBench 评测协议图。图上半部分「Demos / Rollouts / Observation / Action」是采集侧:真实机器人上的演示数据和被测策略的 rollout,同时记录了观测与动作;中间「Dataset」与「World Model」是训练侧:用一份严格划分过的数据训练世界模型,确保评测用的策略 rollout 从没在训练时出现过;下半部分「Closed-loop Policy Evaluation in World Model」是把策略放进世界模型里闭环跑,世界模型按策略动作预测下一步观测;最右「Automatic Metrics & Evaluator / WM Success」是打分侧,自动指标和视觉语言模型(VLM)评测器共同给出一个世界模型分数。左侧那条「Real world」虚线箭头指回真实执行侧,意思是同一批策略在现实世界里也跑一遍,这样图两端的分数才能放在一起对照。
这个协议暴露了评测器的一种失效:世界模型评测出来的排序,是否与真实执行的排序一致?如果一致,评测器就是有效的;如果不一致,那么用于评测它就等于把一张错误的考卷交给了一张错误的答案纸——而后面所有基于这张卷子的决策(哪个策略可上线、哪个策略需重训)都会跟着错。
WMBench 基于超过 324,000 次模拟 rollout、7 个视频世界模型与 4 种动作表征的系统性对比得出结论:评测器的质量主要由长程、动作忠实的 rollout 一致性决定,而不是短期视觉真实感。这一点对数据引擎同样成立:一条看起来真实、动作不忠实的合成轨迹,在评测器里会给出错误分数,在数据引擎里会被写进训练集。它们用的是同一个底层资产:长程 + 动作忠实。
这是本文要强调的一个核心观察:世界模型做评测器与做数据引擎时,失效的根因是同一个。所以工程上对这两者不应该分开研究——一套世界模型既想做评测器又想做数据引擎,就应该同时接受两类测试:与真实世界排名的相关性,以及与真实轨迹分布的覆盖与忠实度。这两类测试恰好对应 WMBench 和本文第五节的判据。
与仿真器的差别在哪里
需要区分「世界模型当数据引擎」与「传统物理仿真器当数据引擎」的差别。传统仿真器(比如 MuJoCo、Isaac Sim)的动力学由物理引擎算出来,接触刚度、摩擦、质量、惯量这些量是仿真器里的参数;它的问题是参数与现实不符,也就是第 23 篇讲过的 sim-to-real gap,但它的误差来源是已知的、可定位的——改一个摩擦系数再重跑一遍就行。
世界模型的误差来源不同:它们分布在数十亿参数里,没有直接的「参数—误差」对应,你不能把「抓取偏 3 度」这种误差定位到一个具体的层或参数上去调。所以世界模型数据引擎的误差是「统计性」的,仿真器的误差是「结构性」的。这个差别决定了:仿真器可以用参数辨识、域随机化(domain randomization)这类结构性手段把误差压到可控,而世界模型只能靠数据侧的过滤和混合,以及工程侧的判据来压制误差——这正是下一节六道防线的立足点。
有一张图能把这一组对照钉住。Cosmos 平台(arXiv:2501.03575,2025 年 1 月发布)的论文在讲视频策展器(video curator)时给出了一条清晰的流水线:把长视频切成镜头 → 过滤 → 自动标注 → 去重 → 分片。它的作用是给世界模型准备训练数据;而世界模型产出数据又会被下游策略吃进去。这里就出现了一个对照:

上图是 Cosmos 论文的视频策展器流水线。从左到右的五步是切镜、过滤、自动标注、去重和分片,底部那个箭头「video curator」是整条流程的产物——一份经过筛选和结构化、可以直接喂给世界模型的视频数据。这张图本身就是一种「数据工厂的入货端」,而本文讲的是「数据工厂的出货端」:入货端用的是真实视频,出货端用的是生成视频。入货端的五步(切、滤、标、去重、分片)在出货端仍然适用,只是每一步的判断对象从人类拍的视频变成了模型画的视频,难度和误差结构都完全不同。
把两类引擎放在一起对账,可以用一张表:
| 对比项 | 物理仿真器 | 生成式世界模型 |
|---|---|---|
| 动力学来源 | 显式的物理方程与求解器 | 从数据中学到的分布先验 |
| 可调参数 | 质量、摩擦、刚度、延迟等,数量有限 | 数十亿网络参数,无直接对应 |
| 主要误差 | 参数与现实不符(结构性) | 分布偏移、动作不忠实、标注误差(统计性) |
| 缓解手段 | 参数辨识、域随机化 | 数据过滤、混合比例、代次限制、闭环验证 |
| 成本结构 | 每步求解成本固定,与分辨率弱相关 | 每步成本随分辨率和生成步数增长;可按前缀复用 |
| 覆盖长尾 | 需要人为设计场景 | 可以从海量视频先验推断出未见场景 |
| 可调试性 | 高(误差可定位到参数) | 低(误差不能定位到参数) |
这张表也回答了第一篇留下的一个问题:为什么世界模型会作为一个独立方向出现,而不是「又一个更好的仿真器」。它们在误差结构上是互补的:仿真器误差低但覆盖窄,世界模型覆盖宽但误差不可定位。所以工程上真正要算的账不是「选哪个」,而是「混合比例」——这也正是下一篇要讨论的「两类引擎在同一批训练数据里如何分工」。在规划这条线之前,第二篇的 Dreamer 路线、第四篇的 Cosmos/Genie 路线、第十二篇的几何式世界模型都各有对应的仿真性缺口,值得先回看对照。
六道防线:从生成前到训练后
五条边界划完之后,可以把工程上的防线按「在流水线哪个位置」整理成六道。这六道不是并列的,而是从生成前到训练后串联成一条防线链,任何一道失效,后面的都救不回来。
第一道:生成前的条件锚定
条件锚定是流水线最前端的一道。核心是:不让生成模型自己选起点,而给它一个来自真实分布的初始帧 + 一个真实存在的语言指令。DreamGen 这条流水线本身就是这么设计的:用真实初始帧来锚定 pgen(s0)。
但锚定本身也会失效——如果初始帧从模型的想象里取,锚定就变成了「想象中的锚点」。所以第一道的完整形态应该是:真实初始帧采样在真实环境里,语言指令来自真实的任务库。这个组合把生成的覆盖范围限制在真实任务集和真实环境集的组合里。
第一道有一个容易漏的细节:初始帧与指令之间的语义对齐。如果给一张「桌上有杯子」的初始帧配一句「把杯子挪到右边」,但模型理解成了「把杯子拿到地上」,它画出来的画面与指令不符,锚定就白做了。另一项更隐蔽的对齐风险是环境语境的错配:初始帧拍的是厨房,指令却来自一个只在办公室成立的任务库,模型会画出「厨房里的办公室操作」,画面看着像、语义却错位。所以第一道通常还要求一个初始帧—指令一致性检查(比如由图生文的模型或 VLM 做一次交叉校验)。
第二道:生成后的过滤——视频层、动力学层、动作层
过滤是第二道,也是整个防线链里最被重视的一道,因为它成本低、并行度高。过滤本身分三层:
- 视频层:去除画面明显崩坏的片段(文字乱码、物体穿模、背景闪烁)。这一层可以用自动视觉质量指标完成。
- 动力学层:去除物理上不可能的画面——物体与桌子穿模、机械臂折叠到不可能角度、物体在无支撑下悬停。这一层比视频层难,因为它需要判断「违反的是物理规律,而不是像素规律」。
- 动作层:去除动作与画面不忠实的片段(例如画面里机械臂往左走、但输入的动作标签却指向右)。这一层就是边界三、边界四的过滤位置。
三层过滤里,视频层已经被工业界做得很成熟了。动作层是这里容易被忽略的——很多人以为「视频看起来对、动作也是反推出来的,应该没问题」,而事实恰恰是反推出来的动作最需要单独校验。所以动作层过滤至少要做两个一致性检查:(a)用同一段视频用两个 IDM 分别标注;(b)把反推的动作再喂回一个正向动力学模型,让它预测视频画面,看看是否与原视频一致。
第三道:动作忠实度的正向—反向一致性
这是第二道里动作层的完整形态,值得单独列出。正向—反向一致性检查的框架是:用策略给出动作 at,世界模型预测视频画面 vt,用 IDM 从视频反推动作 a^t,比较 at 与 a^t。如果两者一致,则这条视频—动作对是忠实的(至少在这条检查下);如果不一致,标记为可疑。
这条检查的逻辑与第十六篇讲动作接口时的「跨具身对齐」检查同构——都是用反向编码检查正向编码。但这里有一项新的风险:正向—反向一致性会偏向「系统性的同样错误」。如果 IDM 总是把某一类动作编码成另一个类,正向的 at 与反向的 a^t 也可能一致(因为都错到了同一个量),所以这种检查不能单独使用,必须配合第二道里的多重 IDM 标注。
第四道:比例与权重的显式记账
这一道不处理单条轨迹,而是处理训练集整体的混合比例。arXiv:2404.01413 的结论是「用合成数据替换真实数据」会趋向坍缩,而「把连续几代的合成数据与原始真实数据累积在一起」可以避免坍缩——关键在真实数据始终在场而非累积本身。所以数据引擎的工程口径应该是:
- 真实数据永远保留、永远累积。
- 合成数据是加法,不能是替代——不能把合成数据当成真实数据的替身。
- 合成数据的权重必须显式,不能是「加进训练集就是等权」。
「显式记账」的实操是:在数据集元信息里记录每一批数据的来源(真实遥操作、合成轨迹、IDM 标注的合成、LAPA 标注的合成)和代次(第几轮生成),并且按来源设置不同的采样权重。这看起来是一个工程细节,但它是防止第四道工序把误差转化成「成功样本」的唯一结构性做法。
第五道:生成代次的闭环——「真实数据锚定 + 代次限制」
自我污染(边界五)的工程对应就是第五道。它的核心做法有两条:
- 真实数据锚定:任何一代模型的训练集里,真实数据的比例都不低于某个下限;且真实数据的权重高于同代合成数据。
- 代次限制:合成数据的代次不超过 N(即最多「用合成数据训练的模型」再产出合成数据 N 轮)。超过 N 轮的合成数据直接拒收。
代次限制并不是随意的保守。MAD 的结论是分布尾部丢失是递归循环的结构性效应:每一代只重采样上一代合成数据时,分布的尾部会一点点被削薄;代次限制是在「这条轨迹值多少训练收益」与「它把分布尾部削薄多少」之间取一个平衡。一个具体的做法是把合成代次写进元信息,训练时按代次指数衰减权重——第 0 代(真实)权重为 1,第 1 代合成权重为 γ,第 2 代为 γ2,N 代之后权重低于阈值直接拒收。
第六道:下游闭环与可归因性
前五道都在流水线内部做检查。最后一道是下游闭环——把合成数据训练出来的策略放回真实环境里跑,看它是否带来了训练收益。这一道最慢、最贵,但它是唯一能直接验证「合成数据是否有训练价值」的环节,也是前五道「过滤掉误差」这个目标最终能被验收的那道门。
闭环的实操是把策略分成两版:一版只用真实数据训练,另一版在真实数据上与合成数据混合训练,然后在同一批真实机器人任务上用同一套成功判据评估。比较两版的成功率曲线,才能回答本文前面那一行判据里的 A(τ)——可归因性。
第六篇讲的评测栈与第七篇讲的上线观测在这里第一次汇合:评测栈给出「策略是否变好」的信号,可归因性检查确认这个信号来自合成数据而不是其他变化。下游闭环是本文所有防线里的最后一道,也是最贵的一道,所以它的存在本身就要求前五道尽量把数据过滤干净,而不是靠它来兜底。
从机房到下一代模型的账本
六道防线铺完之后,还有一层本文前面反复提到、但没有单独结清的账:数据引擎与推理系统两边的账是重合的。
生成成本与训练收益的互换
前面九篇算过世界模型的推理成本——每生成一秒画面要付多少 FLOPs、多少 KV 缓存。当数据引擎后,这笔成本换来的不是「一次决策」,而是「一条轨迹」。所以成本口径变了:
每千条轨迹成本=生成τrollout⋅Cinfer+标注τlabel⋅CIDM+过滤τfilter⋅Cfilter+下游训练τtrain⋅Ctrain其中 τrollout 是每条轨迹的步数,Cinfer 是单步推理成本;τlabel、CIDM 是标注环节;Cfilter 是三层过滤的成本;Ctrain 是把这个数据加进下游训练的边际成本。这个公式把「生成便宜」这个常见直觉拆开:生成只是账本的一项,标注与过滤往往才是真正的成本大头。
标注环节的两类成本
标注环节有两条路线,成本结构截然不同:
- IDM 路线:成本主要在训练 IDM,之后每条帧的标注是一次前向推理。优点是每帧成本低、可以并行;缺点是标注误差在分布外输入上系统性偏高。
- LAPA 路线:成本主要在一个潜动作编码器,它的输入是视频片段,因此标注的「粒度」比 IDM 粗(一个片段一个潜动作,而不是一帧一个)。优点是潜动作空间稳定、在分布外输出不会退化成平均;缺点是需要下游接口适配。
两条路线在流水线里其实是互补的:IDM 的输出单位是帧间隙里的动作块,粒度与下游策略的控制频率可以对上;LAPA 的输出单位是一秒级的潜动作,更适合那种策略动作本身就是 chunk 的连续控制。它们的成本结构差异决定了数据引擎的工程选择,而不是「哪种更先进」。
与推理账本重合的那一项
第九篇的推理账本里有一项叫「KV 缓存的重复利用」——生成长序列时,前缀相同可以复用 KV。这一项在数据引擎里变成了一个非常现实的成本优化:同一条轨迹的初始帧 + 指令相同,只是后续采样不同。如果世界模型的接口允许在同一个前缀上分叉多个采样(就像第十七篇讲的记忆与第十八篇讲的共享世界状态),那么每一批生成可以只付一次前缀成本,多条轨迹共享。
这正是十七篇「长程记忆」与十八篇「共享状态」的推理接口在数据引擎场景里的第一次大用。但它们也有对应的风险:共享前缀分叉出来的多条轨迹,互相之间的相关性极高——如果不显式地强制采样多样性,训练集里就会出现「同一初始状态的 100 种微小变体」,覆盖增量 Δcov 接近零。
工程坑:几条容易踩的
坑一:用「训练成功」证明「数据有效」
合成数据加进训练集之后,下游策略在训练集上的损失或者平均成功率变好,就被当成「合成数据有效」的证据。这个推理是错的:训练集里的合成数据本身就被模型画得像「成功」,策略在训练集上的分数变高只能说明策略学会了模仿合成数据,不能说明它在真机上变好。唯一能证明的是真机上的表现——这就是第六道防线不可跳过的原因。
坑二:过度相信「动作跟随」测试
一些团队用「策略输出的动作 vs. 世界模型重放的动作」来检查动作跟随。但这两个量都来自同一个模型——世界模型的重放本身就是用同样的前向过程生成的。如果世界模型在某个动作空间上偏离,这个偏离会被同时反映在两侧,测试会假性通过。所以动作跟随测试必须有独立的第三维:一个独立的 IDM,或者真实机器人上的执行结果。
坑三:把覆盖增量当成「多样性」
生成更多轨迹不一定是覆盖更多状态。大量相似轨迹(同起点、同指令、只差采样噪声)会让训练集总量变大,但覆盖增量 Δcov 接近零。覆盖增量需要用状态分布距离来度量(例如真实采集库的最近邻距离),而不是用「生成条数」。
坑四:忽略标注的数值尺度
IDM 在不同本体上的动作尺度不同——A 机械臂的「前进 1 厘米」和 B 机械臂的「前进 1 厘米」在 IDM 的输出空间里可能数值一样,但对应像素位移不同。如果训练集混合了多个本体的合成数据,但没有统一动作的数值尺度,下游策略会学到「平均尺度」,在真机上出现系统性偏差。这是一类在流水线上几乎看不出来、只有真机才暴露的误差。
一个具体的对账例子
把前面的结论落到一个具体场景里,看一次「数据引擎的账」该怎么算。
假设目标是让一台双臂机器人在 12 种日常任务上、5 种环境里学到能力,而当前真实遥操作数据只覆盖「单一拣放任务、单一环境」。按照 DreamGen 这条路的账,大致是:
- 用这唯一一批真实数据微调世界模型;
- 以真实初始帧 + 真实任务指令为提示,生成 12 种任务 × 5 种环境 × 若干初始帧的合成视频;
- 用 IDM 或 LAPA 标注;
- 用三层过滤筛掉画面崩坏的片段,并对动作层做正向—反向一致性检查;
- 把筛选后的合成轨迹按比例混入真实数据训练下游策略;
- 在真机上跑这 12×5 的格子,对比「只用真实数据」和「混合合成数据」两版策略的成功率。
在这笔账里,真正决定「合成数据值不值」的,是哪几个量:
- 真实数据的权重是否始终非零(对应第四道防线);
- 合成轨迹的覆盖增量是否真的落在 12×5 的格子而不是重复同一格(对应坑三);
- 动作标注是否通过了正向—反向一致性检查(对应第三道防线);
- 代次是否被限制在 N=1(对应第五道防线);
- 下游真机上的成功率是否比「只用真实数据」更高(对应第六道防线)。
这五个量里任意一个为负,整批合成数据就可能是「账面漂亮但实际有害」的。
小结
这一篇从一个区分出发:预测器与数据引擎是同一类模型、两种用法。在线当预测器用时,误差有闭环、有反馈、只影响一次决策;离线当数据引擎用时,误差没有闭环,它会被当成真实轨迹写进训练集,通过下一次训练扩散到下游策略的每个参数上。
在这个区分之上,把它划成五条边界:生成分布与执行分布的偏移、动力学误差的复合效应、动作跟随不忠实、标注误差、自我污染。前四条是从「一条轨迹」这一粒度出发的,第五条是从「多代轨迹」这一粒度出发的——后者是整篇里唯一一条会在代际之间累积的边界。
在这五条边界之上,六道防线从生成前铺到训练后:条件锚定、三层过滤、正向—反向一致性、比例与权重显式记账、真实数据锚定 + 代次限制、下游闭环与可归因性。这六道不是并列的,而是一条串联的链——第一道失效,后面的全部救不回来。
系列走到这里,「世界模型」这件事已经从概念、路线、部署、评测、记忆、共享状态、闭环、迁移、物理先验、触觉、身体模型,一路推到了世界模型当数据工厂这条线上。这条线仍然有尚未展开的相邻问题:世界模型与物理仿真器联合当数据引擎时的分工与对账——也就是两类数据引擎在同一批训练数据里如何各取所长、如何避免两类误差叠加。下一篇讨论这条线。
参考资料
- DreamGen: Unlocking Generalization in Robot Learning through Video World Models
- GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation
- WorldEval: World Model as Real-World Robot Policies Evaluator
- Ctrl-World: A Controllable Generative World Model for Robot Manipulation
- dWorldEval: Scalable Robotic Policy Evaluation via Discrete Diffusion World Model
- Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning
- OSCAR: Omni-Embodiment Action-Conditioned World Model for Robotics
- Cosmos World Foundation Model Platform for Physical AI
- Learning Interactive Real-World Simulators
- Self-Consuming Generative Models Go MAD
- Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data
- How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse
- Understanding the Distillation Barrier in Self-Consuming Generative Models
- MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations
- RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
- When to Trust Your Model: Model-Based Policy Optimization
- Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees
- Scaling Laws and Interpretability of Learning from Repeated Data
- RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



