正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(七):从评测到上线——世界模型部署的五个工程环节与实时账本
从“模型能跑”到“系统敢用”
系列的前六篇完成了两件事:把世界模型这个概念拆开,再给它一套判断标准。第一篇从 POMDP 出发,定义了世界模型要预测什么、动作如何进入、训练目标落在哪个空间;第二篇走了 Dreamer 系列,第三篇走了 JEPA,第四篇走了视频生成路线,第五篇走到 WAM;第六篇把“怎么知道它是对的”拆成物理一致性、反事实响应与长程记忆三层,并给出了一个四层评测栈。
评测回答的是离线问题:给定一段历史与一组动作,模型生成的未来是否足够接近真实。部署回答的是在线问题:在一个持续运行、延迟有上限、硬件会抖动、传感器会脏、模型会犯错的闭环里,系统如何在每一个控制周期都交出一个可执行、可解释、可兜底的动作。两者之间隔着的不是一次模型导出,而是五个工程环节:
- 延迟预算:闭环的截止时间怎么定,每一毫秒花在哪里,p99 而不是均值如何守住。
- 异步执行:动作分块之后,新块与旧块如何重叠、如何拼接,避免在块边界产生分布外的抖动。
- 状态与缓存管理:世界模型的想象状态、KV 缓存与真实观测如何对齐,什么时候必须重新锚定。
- 算力放置:模型放在机器人本体、边缘工作站还是云端,哪些层放哪里,网络抖动如何计入预算。
- 安全与观测:模型输出错了,谁来发现、谁来接管;上线前如何用影子模式与回放验证,上线后如何金丝雀与回滚。
这一篇按这五个环节展开。讨论对象是 Action-Conditioned World Model(ACWM)与 World Action Model(WAM)这类需要持续输出预测或动作的模型,重点在推理与系统侧;训练只作为理解模型行为的背景。读这一篇之前,建议先看第一篇的形式化定义与第六篇的评测栈;如果对扩散与流匹配的采样过程不熟,站内的扩散模型从零讲起(一)铺垫了必要的数学。
延迟预算:闭环里的每一毫秒归谁
控制频率不是单一数字,而是一组时间尺度
机器人系统从来不是“一个模型、一个频率”。Figure 在 2026 年 1 月发布的 Helix 02 把控制栈明确分成三层:System 2 负责语义推理与行为排序,运行得慢;System 1 把感知翻译成全身关节目标,频率为 200 Hz;System 0 负责平衡、接触与全身协调,频率为 1 kHz。三层的模型规模、输入输出与容错方式都不同,但它们在同一个身体上协同工作。
这个分层不是工程上的随意切分,而是物理约束的结果。接触力学与关节伺服需要毫秒级的反馈,语义规划则以几十到几百毫秒为周期。PhysisServe 的技术报告给出了一个更粗的分类:语义规划层通常低于 50 Hz,动作与伺服层可达数百赫兹,而人形机器人仿真为了准确模拟接触,频率可以到数千赫兹。频率越靠近执行器,对延迟越敏感;频率越靠近语义,对模型容量越敏感。
因此,“世界模型要多快”这个问题没有统一答案。一个用于生成训练数据或做离线评估的 ACWM,几秒钟一个 chunk 完全可以接受;一个作为机器人决策底座的 WAM,必须在当前动作块过期之前交出下一块。部署设计的第一步,是把任务拆成若干时间尺度,再为每个尺度单独定义截止时间。
四个参数:Δt、H、s、d
把动作分块(action chunking)写成形式化的语言,后面所有延迟分析都会清爽很多。设控制器的采样周期为 Δt,模型一次前向预测 H 个未来动作,组成一个 chunk:
At=(at,at+1,…,at+H−1)系统并不会把 H 个动作全部执行完,而是执行前 s 个,称为执行时域(execution horizon)。s 太小,系统频繁重新规划,计算压力大;s 太大,机器人对外界变化的反应变慢。设一次推理从开始到产出 chunk 的墙钟时间为 δ,把它换算成控制器步数:
d=⌊Δtδ⌋d 称为推理延迟(inference delay)。同步推理的流程是“执行完 s 步,停下来等模型算完,再执行下一块”,一个周期的长度是 sΔt+δ。机器人在这段时间里会明显停顿,而训练数据中的专家轨迹通常没有这种停顿,于是训练与部署之间出现了分布偏移。对于位置控制的机械臂,暂停也许只是慢一点;对于力控、抛接、平衡这类动态任务,暂停会直接改变系统动力学。
异步推理把等待藏进执行里:在当前块执行到第 s−d 步时就开始下一次推理,等新块产出时,旧块刚好执行完前 s 步。只要
d≤H−s新块就总能在旧块过期前接上,系统不会断供。这个不等式是整个实时部署的核心约束:它把“模型要多快”翻译成了“推理延迟不能超过预测时域与执行时域之差”。DreamZero 的部署参数是一个具体例子:动作时域 H=48、控制频率 30 Hz,因此一个 chunk 覆盖 1.6 秒;系统目标是以 7 Hz 产出新 chunk,即约 150 毫秒一块。相比同步执行时每块 5.7 秒的朴素实现,这个约束被压紧了三十多倍。
延迟账本:模型只是其中一项
很多讨论把推理延迟等同于模型前向时间。真实系统里,模型只是账本上的一行。Real-Time Chunking(RTC)论文在真实双臂机器人上做了一次完整拆分,用的是 π0.5 策略、RTX 4090、5 步去噪、控制频率 50 Hz。结果如下:
| 组成 | 移动机器人平台 | 非移动工作站 |
|---|---|---|
| 模型推理 | 96.89 ± 0.16 ms | 97.43 ± 0.28 ms |
| 网络传输 | 21.20 ± 3.12 ms | 6.89 ± 2.39 ms |
| 图像缩放 | 11.22 ± 5.00 ms | 1.44 ± 0.27 ms |
| 其他 | 9.67 ± 3.20 ms | 3.00 ± 0.68 ms |
| 合计 | 138.98 ± 6.71 ms | 108.76 ± 2.34 ms |
这张表最值得看的是“模型之外”的部分。移动平台上,模型占 97 毫秒,网络、图像缩放与其他开销合计约 42 毫秒,接近总延迟的三成。如果只盯着模型优化,把前向从 97 毫秒压到 50 毫秒,端到端也只能从 139 毫秒降到 92 毫秒;剩下的 42 毫秒仍然卡在那里。相反,把图像缩放从 CPU 挪到 GPU、把 WebSocket 换成共享内存或 RDMA、把相机采集与预处理流水线化,往往能以更低的代价拿回十几毫秒。
延迟还要按分位数看。控制环关心的是“最坏情况下会不会断供”,而不是平均值。一个均值 80 毫秒、p99 为 300 毫秒的推理服务,在 50 Hz 的控制周期里会周期性错过截止时间。工程上通常同时记录 p50、p95、p99 与超时率,并把 p99 作为准入指标;如果 p99 接近 H−s 对应的余量,就需要缩短执行时域、增加预测时域,或者把模型放到更近的硬件上。
把账本写成不等式:
δsense+δpre+δinfer+δnet+δact+δmargin≤(H−s)Δt其中 δsense 是相机曝光与读出,δpre 是缩放、归一化与张量搬运,δinfer 是模型前向,δnet 是机器人与推理机之间的传输,δact 是动作下发到执行器的链路延迟,δmargin 是留给调度抖动与时钟不同步的安全余量。每一项都必须实测,不能用标称值代替。尤其要注意,δnet 在 Wi-Fi 或跨公网时会从几毫秒跳到几十甚至上百毫秒,且分布有长尾;这类链路不适合承载 50 Hz 以上的闭环。
截止时间决定优化顺序
有了账本,优化顺序就不再靠直觉。若模型前向远大于其他项,优先做步数蒸馏、算子融合、并行化与量化;若模型已经压到几十毫秒,网络与预处理成了大头,优先改部署拓扑与数据通路;若 p99 远超均值,优先查调度、内存分配与垃圾回收,而不是继续压平均前向。
这个顺序也解释了为什么“把模型搬到云端”在很多场景里并不划算。云端有更大的 GPU、更好的批处理与更成熟的推理栈,但广域网的往返时延与抖动会直接吃掉预算。RTC 的实验里,机器人与推理工作站通过有线局域网连接,网络只增加 7 到 21 毫秒;一旦换成公网,这个数字会变成几十到几百毫秒,而且尾部不可控。对于 200 Hz 以上的底层控制,云端只能做慢速的语义层,不能做伺服层。
异步执行:动作分块之间的缝怎么补
分叉问题
异步推理解决了“等不等”的问题,却制造了新的问题:新旧两块在拼接处会分叉。RTC 论文的 Figure 2 用一张示意图把这个场景画得很清楚。

图中黑色曲线是正在执行的旧 chunk,它计划从障碍物上方绕过;红色是新 chunk,它基于最新观测重新规划,选择从下方通过。推理开始于第 3 与第 4 步之间,延迟 d=7 步。等新块产出时,旧块已经执行到第 10 步,机器人此刻正处于障碍物上方。如果直接把输出切换到新块的第一个动作 a11′,机器人会在上下两条路径之间发生一次极大的跳变,加速度远超训练分布,控制器会把它当作异常,甚至触发保护停机。
这个例子说明,异步推理的难点不在调度,而在如何让新旧两块在重叠区间里说同一件事。三种朴素做法各有毛病:
- 直接切换:在新块可用时立即改用新动作。拼接点处的动作跳变被论文称为分布外的加速度,在高度动态的任务里几乎必然抖动。
- 时间集成(temporal ensembling):保留多个预测块,对每个时间步取其平均值。平均值不一定是一个有效的动作——多模态策略的两个候选分别走向上绕与向下绕,它们的中点可能正撞在障碍物上。
- 缩短执行时域:让 s 变小,提高反应性。但新块看不到从 s−d 到 s 之间发生了什么,拼接处的策略切换更频繁,抖动反而更严重。
把异步拼接写成扩散修复问题
RTC 的做法是把“生成下一个动作块”重新表述成一个图像修复(inpainting)问题。这个类比很直接:图像修复要在已知像素的约束下补齐未知区域;动作块拼接要在已经确定必须执行的旧动作约束下,补齐新块剩余的动作。
它建立在流匹配与扩散的迭代去噪框架上。去噪模型学到的是一个速度场 v(Atτ,ot,τ),其中 Atτ 是第 τ 步的去噪中间状态,ot 是观测条件。RTC 在每个去噪步给速度场加一个梯度引导项:
vΠGDM(Atτ,ot,τ)=v(Atτ,ot,τ)+min(β,τ⋅rτ21−τ)(Y−At1)⊤diag(W)∂Atτ∂At1逐个符号解释:
- Y 是约束目标,即旧 chunk 在重叠区间里的动作序列;
- At1 是从当前中间状态对最终干净动作的估计:
- rτ2 是扩散过程中该时间步的信噪比相关量:
- diag(W) 是逐动作的权重对角矩阵;
- β 是引导权重的上限,由 RTC 作者加入,用来防止少步去噪时引导项爆炸。
这个式子的直觉是:每走一步去噪,都对“当前估计出的最终动作”与约束目标之差求梯度,再把这个梯度乘上一个随信噪比变化的系数,加到速度场上。去噪早期 τ 接近 1,估计很不准,系数 τrτ21−τ 很小,引导几乎不起作用;越接近干净状态,引导越强,把结果推向满足约束的方向。这是伪逆引导(ΠGDM)在动作轨迹上的特化。
实现上,引导项是一个向量-雅可比积(vector-Jacobian product),可以直接用反向传播得到。RTC 论文实测:在 π0.5 的 5 步去噪上,单个去噪步的耗时从 14 毫秒升到 35 毫秒,增加约 2.5 倍;整个模型推理从 76 毫秒升到 97 毫秒。也就是说,这套机制并不便宜,它把实时性换成了拼接处的连续性。
软掩码:约束不只施加在“必然会执行”的那几步
只用前 d 个动作做硬约束,问题在于约束太弱。如果 d 很小,引导信号只覆盖几个时间步,新块仍有足够自由度整体切换策略,拼接处依然可能分叉。RTC 的改进是把约束扩展到全部重叠区间 H−s,并让权重从 1 平滑衰减到 0:
Wi=⎩⎨⎧1cie−1eci−10i<dd≤i<H−si≥H−s,ci=H−s−d+1H−s−i,i∈{0,…,H−1}
这张图把整条动作序列切成四段:第 0 到 d−1 步是“冻结,必然执行”的动作,必须原样保留;第 d 到 H−s−1 步是中间区域,可以改,但要受衰减权重牵引;最后 s 步不重叠,必须全新生成。权重函数用指数衰减而不是线性衰减,论文的消融显示两者效果接近、指数略好;它的含义是“离当下越远的旧动作,只作为软提示,越往后的动作越交给模型自由决定”。越接近未来的动作越不可靠,本就不应该被强绑。

硬掩码只把前 d 步当作必须匹配的约束,其余全放开;软掩码让整个重叠区都参与引导。上图把两者的实际效果放在一起:硬掩码在新块与旧块的过渡区匹配较差,方向变化更快;软掩码的过渡更平滑。这和前面的分析一致:约束的作用域决定了拼接处的连续程度。
完整的实时执行循环
把上述方法放进系统,还需要处理延迟估计与执行时域的动态调整。RTC 的算法维护一个过去延迟的环形缓冲,每次推理前取缓冲中的最大值作为下一次延迟的保守估计:
dnext=max(Q)这比用均值更安全,因为控制环害怕的是尾部延迟。执行时域同样不是常数,用户给定最小执行时域 smin,每一块实际使用的时域为
s=max(d,smin)延迟越大,执行越短,以保证新块到来时旧块还没有过期。推理在后台线程运行,主控线程在每个 Δt 消费旧块的一个动作并送达最新观测,两线程通过互斥锁与条件变量同步。延迟超过 H−s 时系统进入降级路径——要么继续执行旧块末端的动作,要么交给安全控制器。
状态与缓存:想象出来的世界如何与真实世界对齐
世界模型在闭环里维护的是“两套状态”
ACWM 在闭环里的角色是“想象未来画面”,WAM 的角色是“直接产出动作”,但两者都要在推理过程中维护两类状态:一类是模型内部的想象状态,包括 KV 缓存、视频潜变量与去噪中间量;另一类是外部的真实观测状态,包括最新图像、本体感觉与时间戳。部署的正确性取决于这两类状态是否对齐。以 DreamZero 为例,它把视频与动作一起自回归生成,推理时每产出新 chunk 都要读取历史帧的 KV 缓存,同时用真实观测替换条件帧。

图左侧是训练:视频潜变量经过 VAE 编码器进入联合 DiT,动作噪声经过动作编码器进入同一个主干,用流匹配同时预测视频速度与动作速度。图右侧是推理:因果 DiT 的前缀 KV 缓存在跨 chunk 生成之间复用,条件帧来自真实观测,生成结果再异步交给控制器执行。这个结构暴露出两个状态问题。
第一,缓存与观测的时间戳必须对齐。 KV 缓存里存的是历史帧的 key 与 value,而这些历史帧来自过去的真实观测。如果缓存中的“第 t 帧”与当前观测对应的时刻不一致,模型就在一个错位的时间里做预测。系统需要为每个缓存条目记录来源时间戳,并在新的真实帧到达时以写后覆盖的方式更新。
第二,想象出来的内容不能当成事实继续滚雪球。 自回归生成会不断把模型自己的预测作为下一步的条件。一次预测错误会在后续 chunk 中被反复引用,误差随 horizon 增长。长程任务的解决办法不是不允许想象,而是定期用真实观测强制重锚(re-anchor):把缓存中未来段的内容丢弃,用最新真实帧重建条件帧与位置编码。
第六篇讨论的“可回访性”与“语义漂移”在这里变成了代码层面的操作:可回访性要求历史缓存不能随便淘汰,语义漂移要求系统检测漂移并在必要时重锚。缓存淘汰策略因此不能只按最近使用(LRU),还要考虑哪些历史是当前任务依赖的——这正是站内 WorldAttention 完全拆解 谈到的分层 KV 缓存要解决的问题,也是 HeMeR 完全拆解 用记忆块索引 KV、只重算受影响区间所对应的思路。
想象与执行的错位:当视频预测失败
DreamZero 的论文里有一张图专门展示这种错位造成的后果。

图中两组示例分别是“在白色写字板上用记号笔画一条线”与“把羊角面包放进烤箱烘烤”。上面一排是模型生成的视频预测,下面一排是机器人实际执行的画面。预测失败时,机器人并不会停下来,而是继续按那个失败的想象执行。这揭示了一个必须承认的事实:联合生成让动作与画面自洽,但不保证画面本身正确。
这给部署带来一条硬性要求:系统必须有独立于主干的一致性检查。检查的对象不是“画面像不像”,而是“动作是否与真实观测一致”。可行的实现有三类:
- 几何一致性:用本体感觉与视觉检测框计算末端执行器的预测位置,与动作命令推算的位置比对,偏差超阈值就降级。
- 状态进度:对任务子目标做进度检测,若连续若干 chunk 都没有推进,触发重规划或人工接管。
- 自洽性回归:把生成出的画面作为输入再走一次前向,检查动作预测是否收敛到同一个策略,不一致说明模型对当前状态理解不稳定。
这些检查的代价要计入延迟账本,所以通常放在 chunk 级别而不是控制步级别:每块检查一次,给一块的预算增加几毫秒到十几毫秒。
缓存的失效与回收
世界模型的缓存比语言模型更复杂,因为要缓存的不只是 K、V,还有可能缓存的视频潜变量、位置编码与动作历史。回收时机与回收粒度直接影响内存与正确性:
- 按 chunk 回收:每块生成结束后,释放中间去噪状态,只保留 KV 与条件帧。这是最常见的做法。
- 按重锚回收:检测到漂移或任务切换时,清空未来段缓存,保留近期真实观测。这与第六篇说的“评测口径要区分纯自回归与周期重锚”是同一件事的两面。
- 按资源压力回收:显存紧张时淘汰长期未用的历史,但淘汰会牺牲可回访性,需要与任务优先级联合决策。
对部署而言,最危险的是“缓存还在、内容已经过期”的静默失效。带时间戳的缓存条目与周期性重锚是两道最基本的防线。
算力放置:模型放在哪里,决定了哪一类延迟可以优化
规模与频率的现实分布
世界模型的部署首先受一个硬约束:模型要装进能实时运行的硬件。PhysisServe 的技术报告汇总了 2026 年公开系统的量级,这些数字很能说明问题:
| 系统 | 类型 | 规模 | 输出频率 / 延迟 |
|---|---|---|---|
| LingBot-World | ACWM | 约 28B(MoE,每步激活约 14B) | 约 16 FPS |
| MAGI-1 | ACWM | 24B | 24 张 GPU 上约 0.98 秒生成 24 帧 |
| DreamZero | WAM | 14B | 约 7 Hz 产出 action chunk |
| LingBot-VA 2.0 | WAM | 15.3B(每 token 激活约 2.5B) | 142 ms/chunk,峰值异步控制约 225 Hz |
| Figure S0 | 底层控制器 | 约 10M | 1 kHz 关节级输出 |
这组数字呈现出明显的分层:十亿级以上的模型通常只能做到几十赫兹,千赫兹级的底层控制则依赖千万级参数的小模型。这不是巧合,而是算力、显存带宽与串行去噪步数共同决定的。模型越大,单次前向越慢;自回归去噪的 chunk 之间虽有重叠,但单个 chunk 内部仍是串行的去噪链。
因此,部署架构的第一条原则不是“把最大的模型塞进机器人”,而是让每一层使用与其时间尺度匹配的模型。语义层可以大而慢,动作层必须小而快,伺服层则往往根本不需要神经网络,或者只需要一个极小的补偿网络。
三种放置拓扑
把模型放在哪里,本质是在三种延迟之间做交换:模型前向、网络传输、以及运维复杂度。
| 拓扑 | 模型前向 | 网络 | 适用场景 | 主要风险 |
|---|---|---|---|---|
| 全机载 | 受功耗、散热、显存带宽限制,通常只能用较小模型或量化版 | 无网络,进程间共享内存 | 底层控制、断网作业、安全关键 | 算力上限低,模型能力受限 |
| 分层放置 | 底层小模型在机上,大模型在边缘工作站 | 有线局域网,约几毫秒到二十毫秒 | 实验室、工厂、固定工位 | 网络抖动、时钟同步、部署耦合 |
| 全云端 | 可使用最大模型与批处理 | 广域网,几十到几百毫秒且长尾 | 离线评估、数据生成、慢速语义规划 | 无法满足高频闭环,断网即失效 |
RTC 的真实实验属于第二种:机器人与推理工作站通过有线以太网连接,WebSocket 传输,移动平台的网络开销约 21 毫秒,非移动平台约 7 毫秒。这个量级对 50 Hz 控制(周期 20 毫秒)已经不算小,但仍在可接受范围。若换成 Wi-Fi,重传与信道竞争会让尾部延迟成倍增长;若换成 5G 公网,往返时延与路由抖动更难保证。所以“边缘”不是笼统的概念,必须具体到链路的类型、交换机、协议与时钟方案。
SemiAnalysis 在 2026 年 9 月的分析文章 A Brain Too Big to Carry 讨论了机载推理与数据中心推理的经济学与工程边界。核心结论与上面的分层一致:机载设备的功耗与散热预算决定了它能承载的模型规模,而数据中心可以把成本摊薄到大量请求上。对机器人来说,这个取舍还多一层:网络不是免费的,运动中的机器人可能处于没有稳定连接的环境,安全关键的动作不能依赖远端可用性。
分层之后,接口比模型更重要
分层放置最容易犯的错误,是把“分层”实现成“把一个模型切成两半,中间传特征”。这样做在实验室可行,在工程上会引入三个问题:
- 特征带宽:视觉主干的中层特征往往比原始图像更大,跨网络传输的字节数可能超过传图像本身。
- 版本耦合:前半段与后半段必须严格同版本、同预处理、同量化方案,任何一侧升级都要双侧联调。
- 故障域扩大:网络一断,整条链路都不可用;而分层放置的初衷之一,是让底层在断网时仍能安全运行。
更稳健的接口设计是按语义层切分,而不是按网络层切分。底层(S0 或伺服层)完全机载,输入本体感觉与少量传感器,输出关节命令,不依赖网络;中层(S1 或动作层)可以在机上或边缘,输入视觉与语言目标,输出动作块;高层(S2 或语义层)放在边缘或云端,输出子目标、语言指令或场景图。每一层之间传的是“目标”与“状态摘要”,而不是高维特征图。这样即使高层断连,底层仍能执行最后一个安全目标或进入受控停止。
把大模型压进实时预算的四种手段
放置决定上限,优化决定能否触到上限。DreamZero 提供了一个完整的优化账本:朴素实现在单卡上每块约 5.7 秒,经过系统、实现与模型三层优化后,在 GB200 上达到约 150 毫秒,累计加速 38 倍。
- 并行化:分类器无关引导(CFG)需要条件与无条件两次前向,把两次前向拆到两张 GPU 上并行,单步延迟降低约 47%。这属于典型的“用更多硬件换延迟”,适合边缘工作站有多卡的情形。
- 缓存:自回归结构让过去 chunk 的 KV 可以复用,DreamZero 的对比显示自回归推理比双向结构快 3 到 4 倍。缓存是“用内存换计算”,代价是显存随历史增长。
- 步数:DreamZero-Flash 在训练时解耦视频与动作的噪声日程,让动作在视频仍然带噪时学会输出干净值,从而把去噪步数从 4 步降到 1 步,推理从约 350 毫秒降到约 150 毫秒。这属于“用训练目标换推理步数”,是模型层的改动,不是纯推理优化。
- 量化与编译:把权重与激活降到 FP8/FP4、融合算子、使用图编译减少调度开销。DreamZero 的账本里,除 DiT 缓存与量化外,其余系统优化在数学上与原实现等价、没有可测的性能退化;量化则会引入数值误差,需要单独评估。
这四种手段的收益与风险不同。并行化增加硬件成本与通信;缓存增加显存并可能引入状态不一致;步数蒸馏依赖训练侧的配合;量化可能改变动作的细微分布。部署时要按“是否改变模型语义”分类:前两类通常不改变输出语义,后两类会,因此需要更严格的回归测试。
服务系统:当一台机器要同时支撑多个身体
单个机器人的实时推理已经够难,多机器人共享一个边缘集群则把问题变成了服务系统问题。不同机器人的请求有各自的截止时间,模型权重相同或相近,KV 与状态彼此独立;如果按“一机器人一卡”静态分配,GPU 的空闲时间与显存碎片会被浪费。
PhysisServe 给出的做法是把自回归去噪的计算拆成 stage(某个去噪步上的某个 Transformer block),让不同 chunk、不同请求的 stage 任务在同一张 GPU 上时分复用与合批,并用虚拟 rank 做放置。它的实验显示,在 24 张 GPU、SLO 为 1600 毫秒时,联合调度把部分模型的并发路数从 6 提升到 10、从 8 提升到 18、从 12 提升到 39。这套机制的完整拆解见站内 PhysisServe 完全拆解,这里只强调它对部署的含义:多机器人共享集群时,调度器必须把“每路 SLO”当作一等约束,而不是只追求总吞吐。
同时要看到一个边界:PhysisServe 优化的是 chunk 输出延迟,不是新观测进入模型到首次反映在输出中的响应延迟。报告明确把后者列为开放问题。对闭环控制来说,响应延迟同样重要——机器人看到障碍物后,模型需要多久才能改变动作。流水线越深,响应延迟越长;因此 stage-wise 流水线适合“持续生成、对单块延迟敏感”的负载,不适合“事件驱动、对首次反应敏感”的负载。部署时要按任务类型选择,而不是把一种系统当成万能解。
从测试床到现场
第六篇的评测栈有一个隐含前提:测试床是受控的。光照稳定、背景干净、物体摆放符合任务定义、相机标定准确、机器人本体状态良好。现场的这些前提一个接一个地不成立。
评测本身也暴露了这一点。WorldModelBench 用视觉语言模型给生成画面打分,评分器自身就有偏差;VideoPhy 检查物理常识,但判定是语义层的;真机评测依赖少量任务与重复次数,统计功效有限。这些偏差在实验室里可以靠人工复核消化,部署到现场时却变成隐性的失败来源:现场的数据分布与测试床不同,评测里“通过”的模型在现场可能反复出错,而且错误往往不出在评测覆盖的维度上。
部署阶段不是再测一遍,而是把评测的每一层变成在线的、持续的、可触发告警的监控。下面这三部分分别是:上线前的验证、上线后的观测、以及错误发生时的兜底。
上线前的验证:影子模式、回放与闭环验收
影子模式:让模型在真实负载下跑,但不接管执行
影子模式的做法是把新模型接入真实系统的传感器流与动作流,让它每块都产出动作,但不把动作发给执行器。系统照常由当前控制器或旧模型驱动,新模型的输出被记录下来,与:
- 旧模型或基线的输出比对;
- 真机执行后的实际状态比对;
- 现场数据分布(相机画质、光照、物体类别)的统计比对。
影子模式的价值在于能暴露“实验室测不出来”的问题:推理在真实网络下是否稳定、长尾延迟是否越界、某些时段(例如光照变化)输出是否异常、内存是否随时间增长。它的代价是需要额外的算力,而且要保证影子模型不干扰主路径——共享 GPU 时要做好优先级与隔离,影子推理的突发负载不能推高主路径的 p99。
影子模式必须设一个明确的退出条件:连续多少小时、覆盖多少种场景、延迟与一致性指标在阈值内,才允许进入下一步。否则“影子跑了几天没事”就会变成一种自我安慰。
回放:把真机日志变成可重复的回归测试
评测栈里的“诊断档”在部署侧对应回放测试。机器人现场运行的每一块都应记录:观测(图像与本体感觉)、模型输入、模型输出、实际执行的命令、以及执行后的真实观测。这些日志构成一个可重放的数据集,回归测试按顺序重放:
- 用同一组观测运行新模型,检查动作是否在合理的分布内;
- 用旧模型的输出作为参考,比较动作的偏差与策略切换;
- 让新模型在回放日志上运行完整的拼接逻辑,检查块边界的连续性;
- 对关键场景(接触、抓取、避障)做分段检查,而不是只看整条轨迹。
回放测试有一个常被忽视的优势:它包含了真实世界的扰动,例如传感器噪声、时钟抖动、动作下发的非理想性,而这些在仿真里很难精确复现。回放也有局限:它无法评估“策略改变后世界会怎样变化”,因为日志里的后续观测来自旧策略。所以回放适合做一致性与鲁棒性回归,不适合替代闭环评测。
闭环验收:真机、固定场景、足够重复
评测栈的最后一层是真机下游表现,部署侧的对应物是闭环验收。验收要把“任务成功率”“完成时间”“单位时间任务完成量(throughput)”三者一起看。RTC 的真实实验定义了一个平均吞吐指标:任务完成比例除以 episode 时长,再对 episode 求平均。这比单看成功率更能反映部署价值,因为一个成功率接近但明显更慢的策略,在现场意味着更低的产能。
验收还要覆盖延迟注入。RTC 在真实机器人上人为注入 100 毫秒与 200 毫秒的推理延迟,发现同步推理会随延迟线性退化,时间集成变体在 +100 毫秒时就会因振荡触发保护停机,而 RTC 在这些延迟下没有可测的性能退化;在超过 300 毫秒、相当于预测时域三成以上的延迟下,它仍能完成点蜡烛这类精细任务,整体动作还比同步推理快约 20%。这种“延迟注入测试”应该成为验收的标准项目:现场网络会比实验室差,验收必须覆盖比现场更差的条件。
最后,验收要定义回滚标准。哪些指标恶化到何种程度必须回滚,回滚到哪个版本,回滚是否需要停机。这些必须在部署前写清楚,而不是事后讨论。
上线后:观测指标、金丝雀与回滚
监控什么
闭环系统的监控指标大致分四类:
| 类别 | 指标 | 作用 |
|---|---|---|
| 延迟 | 端到端 p50/p95/p99、各环节耗时、断供次数 | 判断是否接近截止时间,定位瓶颈 |
| 系统 | GPU 利用率、显存、缓存大小、内存增长速率 | 发现资源泄漏与状态膨胀 |
| 输出 | 动作加速度、jerk、命令与执行的偏差、块边界跳变 | 发现分布外输出与拼接问题 |
| 任务 | 子目标进度、重试次数、人工接管次数、保护停机次数 | 发现策略退化与想象失败 |
输出类指标最容易被忽略,却最直接反映世界模型的部署质量。动作的加速度与 jerk 是分布外行为的敏感指标:RTC 的分析指出,朴素异步切换到新块会引起极大的加速度;如果在监控里看到加速度的 p99 突然抬高,往往意味着拼接逻辑或执行时域设置出了问题。命令与执行的偏差则反映控制的跟踪能力,偏差持续扩大可能是模型输出超出了执行器的可达范围。
任务类指标中,“人工接管次数”与“保护停机次数”是关键的安全信号。保护停机(protective stop)在工业机器人中是硬保障,频繁触发说明模型输出超出了安全边界。RTC 的实验里,时间集成变体在较高注入延迟下振荡到触发保护停机,这就是一个模型行为直接触碰安全边界的例子。
金丝雀与灰度
多机器人场景下,灰度发布比单机升级更现实。做法是按机器人或任务类型分批升级:先在一到两台机器人的固定任务上跑新版本,观察上述四类指标一段时间;再扩大到若干机器人;最后全量。灰度期间要保证新旧版本的数据可比:同样的任务、同样的场景、相近的负载。
灰度还要处理一个特殊问题:状态连续性。升级发生在两次任务之间,还是可以在任务中途切换?世界模型的缓存与状态与模型版本绑定,中途升级必须重建缓存,意味着一次重锚。所以灰度单位通常是一次任务或一段固定时长的会话,而不是任意时刻。
金丝雀的对照不应该是“没出事就算通过”,而应该明确对照项:与旧版本的任务进度曲线对比、与旧版本的延迟分布对比、与旧版本的安全事件率对比。只有三项都在可接受范围内,才放大灰度比例。
回滚与降级
回滚不只是“切回旧版本”。现场需要多级降级路径:
- 模型级降级:切换到更小、更快的备用模型(例如量化版或蒸馏版),牺牲能力换取确定性。
- 功能级降级:关闭世界模型的想象分支,只保留动作分支,或者只保留少量去噪步,换取延迟。
- 控制级降级:切换到经典控制器或安全策略,例如保持当前位置、执行最后一个已验证的子目标、或受控停机。
- 任务级降级:放弃当前子目标,回到上一个稳定的任务状态。
这四级降级必须事先实现并测试过,而不是在故障发生时临时拼凑。降级逻辑本身也要监控:降级频率上升是系统不健康的信号,即使任务仍然完成。
安全层:谁来发现模型错了
独立的监控器
前文反复出现一个观点:世界模型的不确定性、想象失败与分布外行为,不能指望模型自己报告。第六篇的评测栈要求“读出器必须独立于被测模型”,部署侧对应的做法是独立的监控器(monitor / safety critic)。它可以是:
- 基于物理约束的检查:关节限位、速度上限、碰撞距离、力矩上限;
- 基于学习的检查器:一个小策略或预测器,判断“在当前状态下这个动作是否合理”;
- 基于规则的检查:任务状态机、子目标完成条件、人工定义的禁区。
独立性的含义是:监控器不能在模型内部训练出来,也不能与模型共享同一组失效模式。例如用一个与主模型同架构、同数据训练的价值网络做监控,遇到分布外场景时可能同样错误;而几何检查虽然覆盖范围窄,但在它覆盖的范围内几乎不会与主模型同时失效。
想象失败的三种检测
回顾 DreamZero 的对照图:视频预测失败时,机器人按失败的想象继续执行。这类失败需要有针对性的检测:
- 预测–执行一致性:在每块执行结束时,比较生成的视频预测与真实观测在关键物体上的位置/姿态差异。差异超过阈值,说明想象与实际脱节,应该缩短执行时域或重锚。
- 进度停滞:监测子目标进度,连续若干块不推进就触发重规划。进度信号可以来自视觉检测、力传感器或任务状态机。
- 动作合理性:监测动作序列内部的平滑性与边界连续性,异常时降级。
三类检测各自有盲点。一致性检查在视觉遮挡时不可靠;进度停滞对“缓慢推进”的任务不敏感;动作合理性只看动作本身,不知道动作是否有效。所以实际系统往往组合使用,并按任务类型调整权重。
安全层的延迟与召回权衡
监控器本身也有延迟:它要读输入、做判断、再决定是否干预。如果监控器比主路径慢,它只能做事后告警;如果要做事前拦截,它必须与主路径在同一时间尺度内完成。这就带来一个设计选择:
- 快而粗的检查放在控制步级别,例如关节限位、加速度上限、速度上限。这类检查确定性强、开销小,适合硬性拦截。
- 慢而细的检查放在 chunk 级别,例如一致性检查、进度停滞。这类检查信息量大、开销较高,适合在块边界决定是否接受该块。
工程上常见的安全架构是:硬约束在驱动器或实时控制器里做,软约束在块边界做,人工兜底在任务层做。每一层都有自己的失败模式,但叠加之后,单点失效的概率会显著下降。
把五个环节串起来:一个部署账本的例子
前面五节分别讲了延迟、拼接、状态、放置与安全。真实的部署里,它们不是先后完成,而是同时满足。下面用一组具体的数字把它们串起来。
设一个双臂操作任务,控制频率 30 Hz(Δt≈33 毫秒),预测时域 H=48(chunk 覆盖 1.6 秒),最小执行时域 smin=24。
第一步,定预算。 允许的最大推理延迟是 (H−smin)Δt=24×33≈800 毫秒。这看起来很宽松,但 p99 才是约束。若模型 p99 延迟 700 毫秒、p50 为 200 毫秒,那么大多数时候执行时域可以取比 smin 更长,只有尾部事件需要缩短执行时域。
第二步,拆分账本。 假设实测为:感知 20 毫秒、预处理 15 毫秒、模型前向 p50 为 180 毫秒、网络 10 毫秒、动作下发 5 毫秒、余量 50 毫秒,合计约 280 毫秒。模型的 p99 是 650 毫秒,意味着最坏情况下整套流程约 750 毫秒,仍然在 800 毫秒预算内,但余量只剩 50 毫秒。
第三步,选择拼接机制。 若使用朴素异步切换,在 280 毫秒延迟下可能出现块边界跳变;若使用 RTC 风格的引导式拼接,每步去噪的耗时约增加 2.5 倍;去噪段在 180 毫秒里占大头,整段前向会明显上升,p99 可能突破预算。这是一个典型的权衡:要么接受拼接处的抖动,要么付出延迟。折中做法是只在延迟超过某个阈值时才启用引导拼接,低延迟时使用简单的执行时域调整。
第四步,决定放置与降级。 若模型运行在边缘工作站,网络是 10 毫秒的有线局域网,可以接受;若网络变成 50 到 100 毫秒的 Wi-Fi,则必须把执行时域缩短到 s≥d 对应的值,或者在块边界降级到更保守的拼接策略。若网络断开,系统应切换到机载小模型或安全停止。
第五步,定义监控与安全。 监控端到端 p99、断供次数、加速度 p99、任务进度与人工接管次数;安全层在驱动器侧执行硬限位与加速度上限,在块边界执行预测–执行一致性检查;降级路径按模型、功能、控制、任务四级预先实现。
这个例子的数字是示意性的,目的是展示五个环节如何互相牵制:预算决定了拼接机制的代价上限,拼接机制反过来改变延迟,放置决定网络开销,而监控与安全层决定了系统在超出预算时是否仍能安全运行。任何一个环节单独优化,都可能被其他环节抵消。
上线之后:世界模型部署的开放问题
部署不是技术栈的终点,而是新一轮问题的起点。以下是仍然没有满意答案的几个方向:
带噪缓存与干净缓存的生成质量差。 PhysisServe 的流水线依赖带噪 KV 缓存,报告明确把“带噪 KV 推理与干净 KV 推理的生成质量差异”列为尚不明确的问题。对部署而言,这意味着吞吐优化可能以难以量化的方式影响动作质量,需要专门的回归测试体系。
响应延迟与输出延迟的分离。 输出延迟是“多久产出一块”,响应延迟是“新观测多久反映到输出”。流水线越深,前者越低,后者可能越高。事件驱动的任务(看到障碍物、接到指令)对后者更敏感,而现有系统大多只报告前者。
跨任务的状态迁移。 一个机器人在多个任务之间切换时,哪些状态可以保留、哪些必须清空,缺乏系统性的方法。保留太多会让旧任务污染新任务,清空太多会让长程任务失去记忆。
监控器的覆盖率。 独立监控器能发现什么、不能发现什么,往往没有量化。部署事故多半发生在“监控器认为没问题”的区间里。如何用反事实测试估计监控器的覆盖盲区,是一个值得研究的方向。
小结
这一篇把世界模型从评测推到上线,拆成五个互相牵制的工程环节:
- 延迟预算:控制频率是一组时间尺度,不是单一数字;部署的核心约束是 d≤H−s,延迟账本要把感知、预处理、模型、网络、下发与余量逐项实测,并以 p99 为准。
- 异步执行:动作分块解决了等待,但制造了拼接处的分叉;RTC 把拼接写成扩散修复问题,用带衰减权重的引导项让新块在重叠区与旧块保持一致,代价是每步去噪约 2.5 倍的延迟。
- 状态与缓存:世界模型的 KV 与想象状态必须带时间戳、与真实观测对齐,并在漂移时强制重锚;缓存淘汰不能只按 LRU,要按任务依赖决策。
- 算力放置:模型规模与输出频率的现实分布决定分层架构;放置拓扑是在前向、网络与运维复杂度之间交换;把大模型压进实时预算靠并行化、缓存、步数蒸馏与量化,其中后两者改变语义,需要更严的回归。
- 安全与观测:上线前用影子模式、回放与延迟注入验收;上线后监控延迟、系统、输出与任务四类指标,按四级路径降级回滚;安全层必须独立于主模型,快而粗的检查放在控制步,慢而细的检查放在块边界。
一个更简洁的总结是:世界模型的部署问题,本质是把“模型在某时刻的预测”放进“系统在每一时刻的承诺”里。 评测判断预测是否可信,部署保证承诺是否兑现。前者是离线的统计问题,后者是在线的工程问题,后者不会因为前者的分数高而自动变好。
系列到这里走到了一个阶段性的终点——从定义、路线、构建、使用、评测到上线,世界模型作为一类模型和一个系统,都有了相对完整的图景。但图景里仍然有很多空白:带噪缓存的生成质量、响应延迟与输出延迟的分离、跨任务状态迁移、监控器的覆盖盲区。这些空白不是文章的结尾,而是下一轮工程的起点。
回顾整条链路可以看到一个规律:世界模型每一次进步,都会把瓶颈从模型层推向系统层,再推向评测与部署层。Dreamer 在潜空间里预测时,成本还可以忽略不计;视频生成式世界模型出现后,KV 与去噪步数成了系统问题;WAM 与高频控制结合后,实时性变成了硬约束;而一旦进入真实场景,评测的覆盖与部署的兜底就成了绕不开的环节。这条链路没有终点,但它给了判断一个工作值不值得投入的坐标系:先问它预测什么、怎么被驱动、跑多快,再问它在什么条件下可信、出错了谁能兜住。
参考资料
- Real-Time Execution of Action Chunking Flow Policies(RTC,Physical Intelligence 等,arXiv:2506.07339,2025-06)
- World Action Models are Zero-shot Policies(DreamZero,arXiv:2602.15922,2026-02)
- PhysisServe: Efficient Autoregressive Denoising Serving with Fine-Grained Stage-wise Pipelining(Physis AI,2026-10)
- Introducing Helix 02: Full-Body Autonomy(Figure AI,2026-01-27)
- π0.5: a Vision-Language-Action Model with Open-World Generalization(arXiv:2504.16054,2025-04)
- Genie 3: A New Frontier for World Models(Google DeepMind blog,2025-08-05)
- MAGI-1: Autoregressive Video Generation at Scale(arXiv:2505.13211,2025-05)
- Native Video-Action Pretraining for Generalizable Robot Control(LingBot-VA 2.0,arXiv:2607.08639,2026-07)
- Training Agents Inside of Scalable World Models(Dreamer 4,arXiv:2509.24527,2025-09)
- A Brain Too Big to Carry — On-Device vs Datacenter Inference(SemiAnalysis,2026-09-14)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



