正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(六):怎么测一个世界模型——物理一致性、反事实响应与长程记忆的评测栈
承接前五篇:评测是这条线的最后一环
前五篇把世界模型的谱系走了一遍:(一)给出了形式化——世界模型是「从观测推断状态、再预测状态如何随动作演化」的模型;(二)拆了 Dreamer 的潜空间与想象训练;(三)拆了 JEPA 的表征预测与防坍缩;(四)拆了视频生成式世界模型的 tokenizer、主干与长上下文成本;(五)拆了 WAM——动作不再是输入,而是和画面一起被生成。
每一篇的结尾都留下同一个问题没有回答:我们怎么知道一个世界模型是「对的」? 第四篇用 VideoPhy-2 的数字说明物理正确性远未解决,第五篇结尾也把评测排在了下一篇。这不是一个附属问题。世界模型的三种用法——规划、想象训练、作为仿真器评估策略——全部建立在「模型出的世界与真实世界在决策相关维度上一致」这个前提上。前提不成立,下游全部作废:在错的世界里规划会得到错误动作,在错的世界里评估策略会得到一个和真机表现毫无关系的分数。
这一篇沿着前五篇的定义往下走,回答三个问题:
- 为什么沿用视频生成领域的指标(FVD、榜单分数)测不出世界模型?
- 物理一致性、动作/反事实响应、长程记忆这三件事,各自应该怎么量化?
- 一个可以拿来用的世界模型评测栈,由哪几层组成,工程上怎么落地?
为什么「生成得好」不等于「世界对」
先看一个具体矛盾。FVD(Fréchet Video Distance)衡量的是生成视频的分布与真实视频分布之间的距离,它是在整段视频帧上做特征统计后比较的。一个模型如果把所有视频都生成得「极其合理但彼此相似」——背景对、光照对、物体缓慢晃动——分布上可能离真实不远,但它对动作的反响应可能几乎为零:往左推和往右推生成出差不多的画面。
这暴露出一个结构性错配:世界模型评测的对象不是「输出分布」,而是「条件分布」p(ot+1:t+k∣o≤t,at:t+k)。 视频生成的评测大多把动作当噪声抹掉,只看无条件或弱条件(文本提示)分布;但世界模型的全部价值在条件这一维:同一段历史、不同的动作,应该产生可区分、方向正确的未来。
第一篇文章里把评测分成了四层:预测质量、物理一致性、动作可控性、长程稳定性。这一篇把前三层之外最容易被忽视的两项——反事实响应(也就是动作可控性的严格版本)和长程记忆——展开讲透,并把四层整理成一套能实际运行的评测栈。
先把三层评测的差异列清楚,后面的所有讨论都围绕这张表:
| 评测层 | 回答的问题 | 主要数据形式 | 失败的典型症状 | 对应下游用途 |
|---|---|---|---|---|
| 物理一致性 | 预测的演化是否遵守因果、守恒、接触规律 | 生成 rollout vs. 真实 rollout | 物体穿模、凭空消失、重力方向错 | 作仿真器评估策略 |
| 动作/反事实响应 | 不同动作是否产生可区分且方向正确的未来 | 成对或成组的反事实 rollout | 换动作画面几乎不变,或变化方向随机 | 规划、WAM 闭环控制 |
| 长程记忆 | 数百帧后外观与状态是否还原 | 长时间 rollout 的逐步误差 | 场景漂移、回到起点时已是另一个房间 | 仿真器、持续交互环境 |
还有一个更根本的问题要先说清楚:世界模型的评测对象与生成模型的评测对象,在数学上是不同的分布。 视频生成模型学的是 p(o),最好的评测是「采样出来的分布和真实分布像不像」;世界模型学的是 p(ot+1∣o≤t,ht),最好的评测是「给定同样的历史,它的条件预测和真实的下一步像不像」。前者可以用一批独立样本统计,后者必须成对比较:同一历史对应多个动作、同一起点对应多次采样。这就是为什么几乎所有世界模型评测的协议都要「成组构造样本」,也是为什么简单地拿一个 FVD 库跑一遍视频数据得出的结论,和世界模型的实际能力几乎没有关系。
另外,评测的三个层并不是并列关系,而是层层递进:物理一致性错了,说明模型连「世界怎么演化」都没学到,反事实响应基本无从谈起;反事实响应错了,说明模型虽然会演化画面,却不理解动作的作用,长程记忆再好也只记得「一个没有人干预的世界」;长程记忆错了,说明模型能在短窗口内理解,但撑不起真实部署需要的时长。所以一个评测栈的价值不在于把三层分数加起来,而在于尽快定位模型失败在哪一层——这决定了该去改架构(例如让动作更早进入主干)、改训练目标(例如加入物理约束),还是改系统(例如加状态重锚)。
第一层:物理一致性怎么测
视觉相似度为什么不够
PSNR、SSIM、LPIPS 测的是单帧像素层面的相似。一个模型可以生成视觉漂亮但物理上完全错误的画面:球撞墙后穿过去、杯子被拿走后又出现在桌上、影子方向与光源矛盾。这些错误在单帧相似度上可能只损失几个百分点,但对决策而言是致命的——策略会学到「把物体推进墙里也能完成任务」。
物理一致性评估的核心困难在于:它需要「变化」而不是「画面」。你真正想知道的是,模型对因果关系的理解是否正确:施加一个力,物体会沿力的方向运动;遮挡解除后,物体还在原先位置;两个物体相撞后动量方向符合守恒。
从人工打分到自动化的演进
这条路的演进可以按自动化程度分成三代。
第一代是人工或视觉语言模型(VLM)打分。 PhysBench 构造了一组物理现象理解题目,让模型(包括视频生成模型和 VLM)判断物理行为是否合理;WorldModelBench 则把视频生成模型作为「世界预测器」,用 VLM 从外观、物理、可控性几个维度打分。这类方法覆盖面广,但主观性强,同一个视频不同评分模型的结论可能相反,且成本高。
第二代是物理常识的「问答化」。 VideoPhy 把评测转成「这个视频里的动作符合物理常识吗」的二分类/三分类判断:给定一段提示(如「把沙子倒入玻璃杯」),用多个自动评分器判断生成视频是否满足硬约束(物体数量、材质、重力)与软约束(交互自然度)。VideoPhy-2 进一步把动作拆成更细的语义单元,并在难子集上给出现有的最好模型联合通过率也只在两成左右的结果——这就是第四篇引用过的那个数字,它说明物理常识远未掌握,但也说明这类判断本身是可靠的。
第三代是引入真值的定量比较。 前两代的判断依据多是「看起来对不对」,第三代改成「与真实物理仿真或真实录像在可测物理量上的偏差」。这需要合成数据或受控场景,能让「球的位置」「物体的速度」这类量被精确读出。典型做法是:在物理引擎里复现同一组初始条件与动作,比较模型预测与仿真结果在轨迹、接触时间、守恒量上的差异。
与这条演进并行的还有一条从「视频」到「世界」的抽象化路线。WorldScore 提出把世界生成拆成「下一个场景生成」的序列:给定当前场景与相机轨迹,评估下一个场景是否按规格生成。这样 3D 场景生成、4D 场景生成、视频生成这三类模型就可以在同一个协议下比较,而不是各自用自己的视频指标。它的评测指标把世界生成拆成可控性、质量、动态三个大类,再细分为布局、相机控制、对象控制、时间一致性等子项——这实质上就是把第一篇文章里的四层指标「结构化」地定义了一遍。

上图为 WorldScore(arXiv:2504.00983)的框架(来源:论文 Figure,Worldscore Benchmark 团队)。左侧「World Specification」用文本与相机轨迹描述一个世界与它的演化,中间把世界生成拆成一串「当前场景 → 下一场景」的任务,右侧把布局、静态质量、动态质量、可控性等指标对应到不同的模型类型(视频生成、3D/4D 场景生成)。这张图的要点是:评测协议先于模型存在——先定义「一个世界应该怎样演化」,再让各类模型来通过。
合成数据为什么是物理评测的必要条件
物理一致性评测绕不开一个现实:在真实录像里,「物理量」是读不出来的。 一段真实录像你只能看到像素,物体的质量、速度、接触力都藏在画面背后,无法作为真值。而在物理引擎里,这些量是精确已知的。所以有真值的物理评测必须先有一条「可回放」的合成链路:
- 在引擎(例如 MuJoCo、Isaac Sim、PyBullet)里设定初始状态与动作序列;
- 引擎输出精确的状态轨迹(位置、速度、接触事件、冲量)以及对应的渲染画面;
- 把渲染画面作为模型输入、把引擎状态作为真值,测量模型预测与真值之间的偏差;
- 再用同一组初始状态在真实设备上采集录像,检验「引擎本身是否可信」——这一项是整条链路的校准,否则你只是在测「模型像不像引擎」,而不是「模型像不像世界」。
这条链路的典型难点是域差(domain gap):引擎渲染的画面与真实相机的画面在光照、纹理、噪声上差异很大,模型在引擎画面上的评测分数往往比在真实录像上高。因此好的评测栈会把引擎数据分为「训练可见」与「留出」两部分,后者用引擎的随机化参数(随机光照、纹理、相机位姿)生成,以逼近真实分布。还有一个更隐蔽的陷阱是引擎本身也会犯错:简单的刚体引擎常忽略柔性、流体与摩擦的各向异性,一个在这些方面「学得比引擎好」的模型反而会在评测中失分。所以评测口径需要写清楚「以引擎为准还是以实机为准」,这决定了指标的解读方向。
一个可操作的物理一致性指标
设模型在 T 帧内做 rollout,把第 t 帧预测观测 ot 与真实观测 o^t 分别经由状态提取函数 g(⋅) 映射为物理量(位置、速度、接触标志),定义三个量:
ϵtrace=T1t=1∑T∥g(ot)−g(o^t)∥2ϵcontact=Nc1i=1∑Nc1[τipred=τitrue]ϵinv=T1t=1∑TC(g(ot))−C(g(o^t))其中 ϵtrace 是轨迹偏差,g 可以是目标检测头或仿真状态读出;ϵcontact 是接触事件的时间戳偏差,Nc 是事件数,τi 是第 i 次接触发生的帧;ϵinv 是守恒量偏差,C 可以是总动量、总能量或质量分布。这三个量分别对应「位置对不对」「什么时候碰到」「碰到之后守恒不守恒」,比单帧相似度更贴近决策需要。
为什么不用单一综合分?因为三类错误的危害不同:轨迹偏差在长时间后必然累积,接触时间错会让策略的节奏完全错位,守恒量错则意味着模型学到了错误的动力学。把它们合成一个分,反而掩盖了失败模式。实际评测中建议分别报告,并在下游用途(例如 MPC 规划)上验证哪个指标的预测力更强。
第二层:反事实响应——世界模型真正的「考试」
这一层是三层里最容易被忽略、又最重要的一层。它直接对应第一篇文章提到的「动作可控性」,但用更严格的形式提出。
反事实是什么意思
反事实(counterfactual)在因果推断里的经典表述是:同样的历史 ht,如果做不同的动作 a 与 a′,未来会怎样不同。世界模型必须能回答这个问题,否则它就不是一个「条件于动作」的世界模型,而只是一个视频生成器。
形式化地,给定一段共同历史 h,和两组动作序列 A=(a1,…,ak) 与 A′=(a1′,…,ak′),评测目标是度量:
D(h,A,A′)=E[d(f^(h,A), f^(h,A′))]其中 f^ 是世界模型给出的预测分布,d 是某种距离。一个被正确条件化的世界模型应该让 D 对动作差异敏感且方向一致:往左推,画面里的物体应该往左走;往右推,应该往右走。如果 A 与 A′ 是两个不同的动作序列,而 D 接近于同动作时的基线噪声,那说明模型对动作不敏感——这是最严重的失败模式,因为它意味着模型输出与决策无关。
三层测试:敏感度、方向、特异性
把这件事拆成三个可测的问题,会得到一组比单一距离更有诊断力的指标。
敏感度(sensitivity):换动作,画面变不变? 对同一历史 h,分别生成动作 a 与「零动作」或随机动作的未来,比较生成分布的差异。如果差异小于同动作不同随机种子造成的内生噪声,说明模型基本忽略了动作。这是很多「看起来漂亮」的视频生成模型在作为世界模型时的第一道门槛。
方向一致度(directional consistency):变化方向对不对? 把动作定义在一个低维语义空间(左右、前后、开合),用一个「动作探测头」——可以是目标检测器读出的物体位移,或一个预训练 VLM 对「物体朝哪个方向动」的判断——测量生成的未来里物体位移方向与动作方向的一致率。注意这里比较的是符号相关性而不是幅度,因为世界模型常会低估或高估动作效果,但方向错了就是根本性的错误。
特异性(specificity):会不会把所有变化都归给动作? 这一项用来排除「动作一换、画面整个乱变」的模型。构造一组 ⌊a⌋ 与 a 只在某个维度上不同(例如只在水平方向翻符号),检查生成结果的差异是否也局限在对应的物体上,而不是整个场景都变了。特异性和敏感度是一对张力:敏感度太低是「不理动作」,特异性太低是「动作一来就全乱」。
用一句话概括这三项的关系:一个合格的世界模型,应该在「正确的地方」对「正确的动作」产生「正确方向」的变化。 三项中任何一项不达标,都意味着下游规划会在错误的世界里搜索。
一份可执行的测试协议
把上面的三项落成协议,需要解决四个工程问题:动作对怎么构造、共同历史怎么保证、噪声基线怎么估计、差异怎么判定。
动作对构造。 最干净的做法是「符号翻转对」:在同一个动作维度上取 +a 与 −a(左推/右推、顺时针/逆时针、开/合)。它有两个好处:一是差异有明确的语义方向,二是可以把「方向一致度」定义成生成差异向量与动作差异向量的符号相关性。对于连续动作空间,还要再加一组「同号小幅」对(+a 与 +1.2a),用来测幅度敏感性——很多模型方向对了但幅度完全不跟随,在长程规划里会表现为「动一点点和动很多没区别」。
共同历史。 世界模型是自回归的,历史上任何一点差异都会污染比较。所以必须保证两组 rollout 从同一份历史 h 出发,并且在需要时共享同一个随机噪声(对扩散模型尤其重要:相同的初始噪声能显著降低比较方差)。如果模型内部带有随机采样的隐状态,则应该在同一份历史上多次采样,取分布层面的比较,而不是单次比较。
噪声基线。 这是整个协议里最容易被省掉、也最关键的一步。对同一历史、同一动作、不同随机种子生成两次,得到差异 Dnoise;对不同动作生成两次,得到 Daction。真正有意义的量是两者的比值:
ρ=DnoiseDactionρ≈1 表示动作对生成结果的影响不超过随机噪声,模型实际上「没在听动作」;ρ≫1 只说明动作有影响,还必须配合方向一致度才能说明影响是对的。这个比值的好处是它自带归一化:不同模型、不同分辨率、不同生成器之间的内生噪声差异很大,直接比绝对距离没有意义。
判定。 因为比较是成对的(同一历史、同一动作对),统计上应该用配对检验而不是独立样本的均值比较。实践中常用的是对每对样本算一个差值,再对差值序列做符号检验或 Wilcoxon 符号秩检验;样本量建议至少几百对,因为世界模型的失败往往是长尾的,几十对样本很容易全部落在「好」的一侧而漏掉罕见但致命的失败。
下面是一段可直接改造使用的评测骨架,用伪代码写清楚数据流。核心是三个函数:rollout 给定历史与动作返回预测、readout 从预测中读出可用于比较的量、paired_diff 计算成对差异。
1# 世界模型反事实评测的最小骨架(伪代码,便于替换成任意后端)2import numpy as np3
4def evaluate_counterfactual(model, histories, action_pairs, readout, n_seeds=4):5 """histories: 共同历史列表; action_pairs: [(a, a'), ...];6 readout: 预测视频 -> 语义量(物体位移、状态标签等)"""7 rho_list, sign_hits, spec_scores = [], [], []8
9 for h in histories:10 for a, a_prime in action_pairs:11 # 同一动作、不同种子:估计内生噪声12 same = [readout(model.rollout(h, a, seed=s)) for s in range(n_seeds)]13 noise = mean_pairwise_dist(same)14
15 # 不同动作、种子对齐:估计动作效应16 left = readout(model.rollout(h, a, seed=0))17 right = readout(model.rollout(h, a_prime, seed=0))18 effect = dist(left, right)19
20 rho_list.append(effect / (noise + 1e-8))21 sign_hits.append(np.sign(left - right) == np.sign(a - a_prime))22 spec_scores.append(localized_fraction(left, right, region_of(a)))23
24 return {25 "rho": float(np.median(rho_list)), # 动作效应 / 噪声26 "direction_acc": float(np.mean(sign_hits)), # 方向一致率27 "specificity": float(np.mean(spec_scores)), # 变化是否局部28 }这段骨架里有两个设计点值得说明。第一,readout 必须是外部模块,不能复用被测模型自己的编码器——否则模型会用自己「理解」的方式读自己的输出,系统性偏差被抵消,分数虚高。第二,noise 用同一动作的多种子采样估计,而 effect 用对齐种子的跨动作采样估计,两者必须用同样的距离函数,否则比值没有可比性。
这套协议的成本并不低:对每个历史、每个动作对、每个种子都要跑一次完整 rollout。设历史数 Nh、动作对数 Np、种子数 S,总 rollout 数为 NhNp(S+2)。如果一帧生成需要 30 ms,一段 32 帧 rollout 接近 1 秒,Nh=200、Np=8、S=4 就是约 6000 次 rollout、接近两小时。这还没算读出器的时间。所以真实评测通常分成「小样本诊断」与「大样本验收」两个阶段:先用几十个历史定位失败模式,再用几百个历史给出置信区间。
WAM 上的反事实测试:为什么更难也更关键
第五篇讲的 WAM 是动作与世界一起生成的,它的反事实测试天然比「动作作为输入」的模型更难:因为你没法直接给定动作序列 A 去看输出,而是只能给定动作块的条件(或直接看模型生成出来的动作),再检查生成的动作与生成的未来是否自洽。
ReactBench-AD 的工作直接打在了这一点上:它将驾驶场景里的「即将发生的危险」作为反事实触发点,检查 VLA 与世界动作模型能否对即将出现在路径上的风险做出反应。这一类评测的价值在于,它测的不是「生成得好看」,而是「条件在正确的时机被用上了」。对 WAM 来说,这也是判断「慢世界、快动作」是否真的解耦的检验——如果模型对风险的响应只出现在画面层面、动作层面没有变化,那就说明解耦没成功。
第三层:长程记忆——模型记不记得世界长什么样
自回归 rollout 的误差累积
所有逐帧生成的世界模型都面临同一个问题:每一帧都是基于上一帧生成的,误差会累积。用数学看,如果单步预测误差为 ϵt,而模型对误差的传播增益为 ∥J∥(粗略地,把模型看作一个动力系统),那么 T 步后的误差大约增长为:
ϵT≈t=1∑T∥J∥T−t ϵt当 ∥J∥>1 时误差指数增长,这就是「画面越走越糊」「场景渐渐漂移」的根因。第四篇讨论长上下文时讲的 KV 缓存线性增长,其实是在说同一个问题的另一面:模型要记住的东西随时间线性增长,而可用的计算与显存是有限的。
长程记忆测什么
长程记忆不是「画面是否一直清晰」,而是世界状态在长时间后是否仍然一致。它可以拆成三个子问题:
持久性(persistence):一个物体在视野外待了若干帧,重新进入视野时,外观、位置、数量是否与离开时一致。这是最直接的「记忆」测试,对应第一篇文章里的「遮挡解除后物体是否还在原位」。
可回访性(revisitability):控制智能体走一圈后回到起点,场景是否仍然是同一个场景。这一项对可交互环境尤其关键,Genie 3 这类系统对外宣称的关键能力之一就是长程的「可被记住的空间」。评测方法通常是构造固定路线的回环路径,比较两次访问同一地点时的生成画面差异。
语义一致性(semantic drift):即使画面对得上,语义层也可能漂移——桌上的咖啡杯从「满杯」变成「空杯」,走廊尽头的门从「开着」变成「关上」。这类漂移用像素距离很难测,需要用目标检测/分割或 VLM 读出状态标签序列,再比较标签的一致性。
一个常见的做法是把长程记忆写成「误差随时间的曲线」,而不是单点分数。曲线斜率能告诉你模型在多长的时间尺度上还能用;对仿真器用途来说,曲线的「拐点」就是模型可被信任的最大 horizon。
为什么「重锚」是评测的一部分
面对误差累积,工程上有三类应对,它们各自改变了评测的含义。
第一类是纯自回归,模型完全依赖自己的历史,误差持续累积。评测时必须用长 rollout,并且报告误差曲线的完整形状,而不是「第 100 帧的误差」。
第二类是周期性重锚(re-anchoring),每一段真实观测到来时,用真实帧替换模型自己的输出,重新开始生成。它把误差曲线切成很多短段,几乎消除了累积——但代价是模型不再自由演化。这时评测必须换口径:不能再用「长 rollout 误差」衡量,而要衡量「在两段真实观测之间,模型能不能预测出正确的中间演化」。这本质上测的是「短窗口内的条件预测能力」,长程记忆的问题被绕开了。
第三类是混合,比如在关键事件(碰撞、抓取)附近重锚,在自由运动段保持自回归。这类系统最需要仔细的评测设计:因为重锚点的选择本身就可能带有偏差(评测者挑了自己觉得「模型应该能预测」的段落)。
评测里最常见的错误,是用第一类和第二类的指标互相比较:纯自回归模型的长 rollout 误差天然比重锚模型大,但这不说明它「世界理解得差」,只说明它承担的误差累积更多。一个公平的评测协议必须在报告里写清楚「每个生成步的观测来自哪里」,并尽量在同一重锚频率下比较不同模型。

上图为 Genie 的潜动作模型与生成主干示意(来源:Genie 论文,Google DeepMind,arXiv:2402.15391)。Genie 的核心设计就是从无标注视频里反推动作,生成主干再按动作生成下一帧——这正是「长程记忆」与「反事实响应」在一条流水线上同时被检验的典型系统:每多生成一步,既测试了主干对画面的记忆,也测试了潜动作对世界变化的控制。也正因为这条流水线的每一环都是学习出来的,误差会在两处同时累积:潜动作识别错,后续帧就朝错误的方向生成;生成主干自身漂移,又会反过来让潜动作识别更不准。
把三层合成一个评测栈
单点指标再准,拼不起一个可用的评测。真正决定一条世界模型能否落地的是评测栈——从数据采集、生成、指标计算到验收的完整链路。可以按四层来组织:
第 0 层是基准数据与真值。 需要两类数据:一类是带精确物理状态的合成数据(物理引擎里的轨迹、接触、守恒量);一类是真实采集且带可重放动作的录像(例如带精确关节状态的机器人遥操作数据)。前者用于物理层与反事实层的真值验证,后者用于检验模型在真实数据分布上的行为。缺了真值,所有指标都只能退化成「看起来对」。
第 1 层是生成与 rollout 记录。 固定随机种子、固定历史、按组生成反事实动作序列。这一层的工程要点是可复现:同一个评测项换一台机器、换一个采样温度,结果不能漂移。实践中需要在生成时记录种子、步数、调度器参数,并把它们和指标一起入库。
第 2 层是特征提取。 需要一个独立于被测模型的状态读出器——目标检测/跟踪、深度估计、几何关系计算、VLM 判定。这一层必须和被测模型解耦,否则等于「用模型评价自己」;同时优先使用能形式化的几何与状态量,把 VLM 判定留给确实无法形式化的语义维度。
第 3 层是指标聚合与判定。 把第一、二、三层指标汇总成可比较的表,并按下游用途设定阈值:作规划器底层,反事实层权重最高;作想象训练的反馈,第一层与第二层优先;作仿真器,三层都要达标,长程记忆的拐点必须超过任务 horizon。
这套栈的设计原则可以总结成一条:每一层指标都必须有「无模型可过、但错误模型一定不过」的对照测试。 对反事实层,这个对照就是「同动作不同种子」的噪声基线;对长程层,就是「重复同一观测」的退化基线——任何无法击败基线的模型,都算不上对世界有理解。
常见陷阱:评测里最容易出错的地方
陷阱一:用被测模型的渲染去测被测模型的记忆。 如果把生成结果直接输入同一个模型的编码器来做一致性判断,模型自己的偏差会被其编码器「认出来」,分数虚高。读出器必须是外部的。
陷阱二:平均掉失败。 物理一致性、反事实响应这些指标都呈现明显的长尾分布:大部分样本很好,少数样本完全错误。均值会掩盖这些错误,而决策最依赖的恰恰是少数关键场景(比如即将碰撞的那个瞬间)。建议同时报告分位数和失败率。
陷阱三:把动作当成连续数值做距离。 不同动作空间的语义差很远,直接对动作向量算距离没有意义。应该在语义层做对照(符号、方向、类别),而不是在特征空间做欧氏距离。
陷阱四:忽略分布偏移。 大部分世界模型的评测集与训练集同分布或邻近,模型在同分布下的反事实响应可能很好,但一旦进入未见过场景就退化到「忽略动作」。用留出场景与留出具身形态(例如仿真训练的模型直接放到另一台机器人上)的评测集,才能逼近真实部署条件。
陷阱五:只看生成,不看下游。 最终标准始终是下游:拿模型产出的仿真环境去训练或评估一个策略,再在真机上验证该策略的表现。这一步慢、贵,但它是唯一能证明「世界模型有用于决策」的测量。中间层指标是用来快速迭代的代理,不能取代它。

上图是 WorldModelBench(arXiv:2502.20694)的评测流程:同一个任务提示下,两个模型的生成结果被逐项送进视觉语言模型评分,再细分为平滑度、一致性、画质等通用项与牛顿定律、重力等物理项,最后以多模型对抗的胜率(win rate)汇总。它属于第一代「VLM 打分」的做法,优点是维度划分清楚、能暴露具体失败类型;局限是评分器自身有偏好,胜率数字在 0.2 到 0.8 之间跳动的部分往往来自评分器差异而非被评模型差异。

上图来自 VideoPhy(arXiv:2406.03520),逐行给出「往茶里倒牛奶」「往桶里铲沙」「木头顺河道漂浮」三个提示在不同模型下的首帧、中间帧与末帧,并在右侧标出违反的物理规律:质量守恒被打破(牛奶液面没有升高)、牛顿第一定律被打破(沙子在铲子没有施力时自己移动)、固体本构律被打破(刚性木头在小载荷下变形)。这张图正好对应上文的论点——这些错误在单帧相似度上几乎看不出来,却直接改变了场景的因果结构。
评测器本身也要被评测
上面所有讨论都默认「读出器是准的」。但现代世界模型评测里,读出器大量是视觉语言模型(VLM),而 VLM 本身是一个有偏差的测量仪器。不先校准仪器,后面所有数字都不成立。这一节把常见偏差和校准方法列清楚。
偏差一:位置与顺序偏好。 同一对生成结果交换顺序,VLM 的判断可能翻转。这在「A 与 B 谁更符合物理」的对比题里尤其明显:模型对第一个出现的样本更宽容,或更倾向于选后面那个。缓解办法是双向提问:A 先 B 后问一次,B 先 A 后问一次,只有两次结论一致才算有效判断,不一致的样本记为「无法判定」而不是随机分配。
偏差二:提示词敏感。 同一段视频,把问题从「这个视频符合物理规律吗」改成「这个视频里有违反物理规律的地方吗」,通过率可能差出十几个百分点。原因是后者把任务变成了「找错误」,模型会更积极地报告问题。缓解办法是固定一组经过预注册的提示模板,并在报告里公开模板原文;任何调整模板的改动都必须重新跑基线,不能拿新旧模板的分数直接比较。
偏差三:自我偏好与风格偏好。 如果被测模型与评分模型同源(例如都用同一个视觉编码器预训练),评分模型可能对同源的生成风格更宽容。更普遍的是「画质偏好」:画面更清晰、色调更饱和的样本会被打更高分,即使物理上是错的。缓解办法是让评分模型只看与物理相关的局部区域(裁剪、掩码),而不是整帧;并加入「画质受控组」——用同一模型生成不同画质的版本,检查分数是否随画质单调变化。
偏差四:基准污染。 如果评测视频、提示或它们的近邻出现在评分模型或被测模型的训练数据里,分数会虚高。这一点在世界模型上格外隐蔽:很多评测集是从公开视频网站采集的,而世界模型的训练数据同样来自公开视频。可行的检测手段是构造「扰动版本」(改颜色、改布局、改相机视角),如果模型在扰动版本上的分数骤降而在原版上很高,就说明它可能记住了原版。更严格的做法是使用带时间戳的留出集,并记录数据的采集日期。
校准的方法并不复杂,核心是准备一小批人工标注的样本,测评分器与人类的一致性。常用的量是 Cohen’s kappa 或与人类多数票的准确率。如果评分器与人类的 kappa 低于 0.4,那么它给出的任何「绝对分数」都不可信,只能用于同一批次内的相对比较。这一步成本不高,却能避免大量「分数看起来很精确、实际毫无意义」的结论。
顺带说一个更根本的问题:评测的判据应该是「任务相关的量」,而不是「语义上像不像」。 例如「杯子被推到桌边」这件事,真正相关的是杯子的位置与桌面边界的关系;用 VLM 判断「杯子是不是在桌边」会引入语言歧义(桌边可以指边缘、也可以指附近),而用检测框加几何关系计算就精确得多。能用几何与状态量测的,就不要用 VLM;VLM 只应该用在确实无法形式化的语义判断上(例如「这个动作是否自然」)。这是评测栈第 2 层之所以强调「外部读出器」的另一个原因:外部读出器最好不止一种,几何量优先、语义量兜底。
现有基准放在一起看
把上文提到的几个基准按「测什么」重新排列,可以看到它们其实互补而不是竞争:
| 基准 | 被测对象 | 数据与判定方式 | 主要覆盖层 | 主要盲点 |
|---|---|---|---|---|
| PhysBench | 视觉语言模型 | 一万余条视频-图像-文本交错样本,覆盖物体属性、关系、场景理解与物理动力学 | 理解侧(不是生成) | 不评估生成模型的世界演化能力 |
| WorldModelBench | 视频生成模型 | 多任务提示下的成对生成,VLM 逐项打分并汇总胜率 | 物理 + 通用质量 | 评分器偏差,缺乏真值物理量 |
| VideoPhy / VideoPhy-2 | 视频生成模型 | 动作中心提示,检查硬约束与软约束,多个自动评分器 | 物理常识 | 判定是语义层的,不测动作可控性 |
| WorldScore | 各类世界生成模型 | 场景规格与相机轨迹驱动的「下一场景」序列 | 可控性、质量、动态 | 以场景生成为主,动作接口抽象 |
| ReactBench-AD | 驾驶 VLA / 世界动作模型 | 危险即将发生时的反应测试 | 反事实响应 | 领域窄,只覆盖驾驶 |
这张表最值得注意的一列是「主要盲点」。选基准时不是挑分数最高的那个,而是先问「我想证明的能力,这个基准测不测」:如果关心机器人闭环控制,WorldModelBench 的胜率说明不了问题,必须自己构造反事实动作对;如果关心场景生成的可交互性,VideoPhy 的物理常识通过率也不够,需要 WorldScore 这类带相机轨迹的协议。评测的起点永远是能力定义,而不是基准列表。
从评测倒推设计:指标决定了怎么建模
反过来看,评测指标也在悄悄塑造模型设计。
- 如果评测只看视觉保真度,模型会往「生成漂亮的画面」上优化,出现「忽略动作」的视频生成器。
- 如果加入反事实响应,模型被迫把动作作为真正的影响因素,这会推动架构上让动作更早、更强地进入预测主干(第五篇里 WAM 的联合去噪与 WorldVLA 的注意力掩码,都是这个方向的体现)。
- 如果加入长程记忆与可回访性,模型就必须显式维护一个持久的世界状态,而不是把它寄望于主干的隐式记忆——这正好对应第四篇的 KV 缓存增长问题,也对应分层 KV、时间压缩这些工程改造的必要性。
从参数规模与推理成本这个角度,评测也有直接的反作用。评测协议里「每对动作都要跑多次 rollout」意味着评测算力大致与 NhNp(S+2) 成正比,而世界模型的单帧生成成本与分辨率、帧数、去噪步数强相关。这会让研究者在两种策略之间取舍:一是降低单次生成成本(少步数蒸馏、缓存复用、只在关键帧上进行高质量生成),以换取更大的评测覆盖;二是维持高保真生成,但把评测缩成小样本。前一种策略在工程上更有价值,因为它顺带让模型更适合部署;后一种则更适合论文比较。一个成熟的评测栈应该同时支持两档:诊断档用低成本生成跑大样本,验收档用高保真生成跑小样本并与下游任务对齐。
这背后还有一层更细的连接——评测本身就是一个推理系统。批量生成反事实动作对,本质上是一个推理服务的工作负载:请求以「历史 + 动作」为单位成批到来,生成时长短则几秒、长则几十秒,读出器(检测、VLM)是另一个单独的推理阶段。把评测跑成流水线(生成队列 → 读出队列 → 指标聚合)而不是一次跑一个样本,能显著提高吞吐;这与推理服务里「分离的 prefill/decode 阶段」「批量调度」「算子融合」是同一类问题。对系统层有兴趣的读者可以把评测栈看作一个轻量的推理应用:它的瓶颈同样在生成、同样依赖批处理、同样需要对长尾延迟做调度。
这也是为什么「世界模型」和「世界模型系统」要分开看:评测决定了系统需要维护什么状态、在哪一层做压缩、什么时候强制重锚(把模型输出重新对齐到真实观测)。评测不是模型完成之后的附属动作,它和模型的设计是一体的。
小结
这篇文章把「怎么测一个世界模型」拆成了三层,并合成了一套评测栈:
- 物理一致性不能只看像素相似度,要看轨迹偏差、接触时间偏差、守恒量偏差,从人工/VLM 打分演进到带真值的定量比较。
- 反事实响应是世界模型真正的考试:换动作画面必须变(敏感度)、变化方向必须对(方向一致度)、变化必须局限在对应物体上(特异性)。WAM 这类联合生成模型的反事实测试更依赖「动作与画面自洽」的判定。
- 长程记忆要测持久性、可回访性与语义漂移,报告的是误差随时间的曲线而不只是单点分数;并且要明确区分「纯自回归」与「周期重锚」两种口径,二者不能互相比较。
- 评测栈要分四层,核心原则是:每层指标都有一个「错误模型一定不过」的基线,读出器必须独立于被测模型,最终以真机下游表现为准。
- 评测器自身必须先被校准:双向提问、固定提示模板、画质受控组、扰动检测污染,并用一小批人工标注测出评分器与人类的一致性;几何量可测的地方不要交给 VLM。
- 基准选择从能力定义出发而不是从分数出发:PhysBench 测理解、WorldModelBench 与 VideoPhy 测生成的物理常识、WorldScore 测场景生成的统一协议、ReactBench-AD 测危险反应,各自都有明确盲点,覆盖不了闭环控制这一类需求。
一个更简洁的总结是:世界模型评测要做的是「成对比较 + 真值读数 + 噪声基线」这三件事。 成对比较保证测的是条件分布而不是边缘分布;真值读数保证测的是物理量而不是「看起来像」;噪声基线保证测出来的是动作效应而不是采样随机性。三者缺一,分数就会变成一种自我安慰。
这套方法论还有一个副产品:它让「世界模型」这个词变得可证伪。以后看到任何一篇宣称自己是世界模型的工作,都可以照着三层去问:它在什么数据上、用什么读出器、相对什么基线、测出了多长的可信 horizon。回答不了这四个问题的,通常只是「能生成视频的模型」。
前五篇给了定义与技术路线,这一篇给出判断标准。到这一步,「世界模型」这个词在概念和度量上都有了较完整的轮廓:它是什么、有哪几条路线、怎么构建、怎么使用、以及怎么知道它是否可信。下一篇回到应用侧——把前六篇的结论落到一个具体问题上:如果要把一个世界模型真正部署成机器人系统里的决策底座,从评测到上线之间还有哪些工程环节,这些环节各自在牺牲什么、换取什么。
参考资料
- PhysBench: A Benchmark for Measuring Physical Commonsense in Multimodal Large Language Models(arXiv:2501.16411,2025-01)
- WorldModelBench: Judging Video Generation Models As World Models(arXiv:2502.20694,2025-02)
- VideoPhy: Evaluating Physical Commonsense for Video Generation(arXiv:2406.03520,2024-06)
- VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation(arXiv:2503.06800,2025-03)
- WorldScore: A Unified Evaluation Benchmark for World Generation(arXiv:2504.00983,2025-04)
- Genie: Generative Interactive Environments(Google DeepMind,arXiv:2402.15391,2024-02)
- V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(Meta FAIR,arXiv:2506.09985,2025-06)
- ReactBench-AD: Do Driving VLAs and World-Action Models React to Imminent Hazards in Their Path?(arXiv:2611.20011,2026-11)
- DreamerV3: Mastering Diverse Domains through World Models(arXiv:2301.04104,2023-01)
- World Action Models are Zero-shot Policies(DreamZero,arXiv:2602.15922,2026-02)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



