动作条件世界模型完全拆解：当视频生成模型学会同时输出动作

一个被反复追问的问题：视频先验到底怎么变成动作#

过去两年具身智能的主流路线是 VLA（Vision-Language-Action）模型：从一个视觉语言模型出发，把「看图说话」的能力改造成「看图出动作」。这条路线继承了语义先验，擅长理解「把杯子放进抽屉」这句话说的是什么，但在两件事上一直吃力。其一，动作数据昂贵——遥操作收集的真实机器人操作数据按小时计价，多数 VLA 的训练配方依赖每个任务反复演示的规整数据；其二，泛化到没见过的动作语义很弱——把「系鞋带」「熨衣服」「刷油漆」换一个动词，很多模型就开始原地徘徊。

世界模型这条线给出了另一种回答的雏形：既然视频生成模型在没有机器人标注的海量互联网视频上学到了物理直觉，那么让它同时把「接下来画面会怎么变」和「该执行什么动作」都预测出来，是不是就能用视频先验直接换动作能力？NVIDIA 于 2026 年 2 月发布的论文 World Action Models are Zero-shot Policies（arXiv:2602.15922）把这个想法推到了一个明确的位置：他们提出了 DreamZero，一个 140 亿参数的世界动作模型（World Action Model，WAM），并对「动作条件世界模型」（Action-Conditioned World Model，ACWM）与 WAM 这对概念给出了可操作的区分。本文只聚焦模型这一侧：这套范式为什么成立，DreamZero 的架构与训练细节是什么，联合预测视频与动作究竟改变了什么，以及它留下的边界在哪里。

在展开之前需要先说清一个容易混淆的点。本文讨论的模型侧范式，与同日发布的推理系统 PhysisServe 是配套关系：PhysisServe 在系统侧解决「怎么把百亿参数的世界模型调到高频输出」（参见站内的 PhysisServe 完全拆解），而本文解决的是「模型本身为什么值得这样调」——这两个问题互相独立又互相成全，任何一侧单独突破都不足以落地。

ACWM 与 WAM：两个词，一条界线#

先定义。ACWM（Action-Conditioned World Model）指的是经典用法：世界模型只负责前向动力学 $p(s_{t+1}\mid s_t, a_t)$ ，动作是输入条件，模型用它来推演「如果我这样做，世界会变成什么样」。JEPA 系列（如 Meta 的 V-JEPA 2）、Dreamer 系列的隐空间动力学，以及用 3D 点云流的 PointWorld，都可以归进这个范畴。这类模型的共同特征是：动作在推理时是给定的，要用它们产出行为，必须在测试时挂一个额外的模块——要么是逆动力学模型（从「想要的状态」反推「该给什么动作」），要么是 MPPI、MPC 这类在动作空间里做搜索或优化的规划器。

WAM 把方向反过来。论文对 DreamZero 的形式化是联合建模

p(\mathbf{o}_{t:t+H},\ \mathbf{a}_{t:t+H}\mid \mathbf{o}_{0:t},\ \mathbf{c})

其中 $\mathbf{o}$ 是视频帧、 $\mathbf{a}$ 是动作、 $\mathbf{c}$ 是语言指令、 $H$ 是预测视野。也就是说，视频与动作同为输出：模型在不被告诉动作的情况下，同时「想象」出未来的画面与执行这画面所需的动作序列。前向动力学的推演能力被包含在内（给定动作就能推画面），但推理时不需要逆动力学或搜索——动作就是生成结果本身。

这个方向逆转改变了三件事。第一，规划被编译进了生成过程：传统世界模型需要 test-time search 才能从「预测」走到「行为」，WAM 直接输行为。第二，视频不再是辅助表征而是训练目标：模型为了把画面预测对，必须内化「物体怎么倒、布料怎么折、流体怎么流」这些物理规律，而这些规律恰恰是动作生成的最好约束。第三，也是对数据经济学影响最大的一点：视频数据可以是「任意人类或机器人执行有用行为的轨迹」，不需要与某个特定机器人的动作标签对齐——这为跨具身迁移打开了门。后两件事分别对应 DreamZero 的两个核心设计，下面逐一拆。

论文 Figure 1 的总览把这条逻辑画得很直白：联合预测让 WAM 继承世界物理先验，进而同时得到四项能力——从多样而非重复的数据中学习、开放世界泛化、只用视频数据做跨具身学习、以及对新机器人的少样本适配。这四项在传统 VLA 框架下彼此矛盾（比如「少样本」与「泛化」通常此消彼长），在 WAM 框架下却是同一件事的四个侧面。

架构：一个自回归 DiT，三种输入，两个解码头#

DreamZero 的基座是 Wan2.1-I2V-14B-480P——一个 2025 年发布的 140 亿参数图生视频扩散模型。选择成熟视频基座而非从头训练，是这条路线的务实之处：视频先验的质量直接决定动作质量，论文在消融里明确验证了这一点（14B 基座的任务进度 50% 对 5B 的 21%，差距悬殊）。

整体结构分三层。

输入侧有三路。视觉上下文经 VAE 编码为隐空间表征；语言指令经文本编码器（基座自带，训练中冻结）；机器人本体感知经一个新加的小型状态编码器。多视角相机的画面不做结构改造，而是拼成单帧喂进骨干网——这是「给视频模型加机器人能力时参数改动最小化」这一设计哲学的体现：新增模块只有状态编码器、动作编码器与动作解码器。

骨干是自回归（autoregressive）DiT，用 flow matching 训练。这里的选择需要解释一下，因为视频生成领域同样存在双向注意力（bidirectional）的传统，论文专门用附录 B 论证了为什么自回归对闭环机器人策略更合适：数据采样点经常落在任务中段（比如演示的第 20 步），双向模型为了让生成的视频段与语言标注对齐，必须对视频降采样，这会破坏原生帧率、恶化视频-动作对齐；自回归模型以视频上下文为条件，语言-视频对应关系和原生帧率可以同时保住。消融还给出一个工程上的硬理由：自回归推理靠 KV 缓存，比双向快 3 到 4 倍；且生成动作上动作序列整体反传，时间一致性显著更好，运动更平滑。

输出侧是两个解码头，分别还原视频帧和动作。视频以块（chunk）为单位生成，每块含 $K=2$ 个隐帧，对应一段动作视野；AgiBot 数据集上动作视野 $H=48$ （30Hz 控制频率下 1.6 秒），DROID 上 $H=24$ （15Hz 下同样是 1.6 秒）。默认上下文为 4 块共 8 个隐帧，约合 6.6 秒视觉记忆。

训练目标用共享同一噪声时间步的 flow matching：给定块索引 $k$ 和去噪时间步 $t_k$ ，模型拟合含噪视频隐变量与含噪归一化动作上的速度场

\mathbf{v}^k = [\mathbf{z}_{1}^{k}, \mathbf{a}_{1}^{k}] - [\mathbf{z}_{0}^{k}, \mathbf{a}_{0}^{k}]

训练时做轨迹级更新并施加注意力掩码，让当前含噪块能注意到先前干净块的条件上下文（teacher forcing）。所有块共享同一个 $t_k$ ——这一点与近期多数 WAM 工作不同，论文的动机是训练初期能更快收敛。

DreamZero 架构：训练时对干净上下文去噪，推理时真值观测回灌 KV 缓存

闭环里最聪明的一步：把真值写回 KV 缓存#

自回归视频生成有个出了名的问题：误差复利。第 1 块生成的画面稍有偏差，第 2 块就条件在一个微微走样的世界上，偏差逐块放大，长视频生成里表现为画面漂移乃至崩坏。对必须连续运行的机器人策略，这是致命的。

DreamZero 的解法异常干脆，而且只有在「图生视频 + 闭环」这个组合里才成立：每个动作块执行完毕后，把 KV 缓存里模型自己想象的帧替换成机器人真实观测到的帧。模型接下来条件在真值历史上继续去噪，误差被每 1.6 秒清零一次。这个操作暗含一个值得展开的逻辑：

对纯视频生成模型，这一步做不到——生成模型面对的是虚拟世界，没有「真值」可以回灌；
对开环 VLA，这一步不存在——它们没有把自己的预测作为后续条件的历史结构；
只有 WAM：既是自回归 Video 模型（有 KV 缓存结构），又运行在真实闭环里（有源源不断的真值观测）。

于是自回归结构固有的误差累积问题，被闭环执行这一现实条件直接消解了。这是论文 Figure 4 右半幅的核心信息，也是把「视频生成模型当作策略」从玩具推向可部署的关键机制。

真实机器人数据上发生了什么#

DreamZero 的预训练数据刻意与主流 VLA 配方相反。AgiBot G1 上是约 500 小时、22 种真实环境（家庭、餐厅、超市、咖啡店、办公室等）的遥操作数据，平均每段 4.4 分钟、包含约 42 个子任务；数据收集的哲学是「任务多样优先于任务内重复」——同样 500 小时，不做 70 个任务各重复几十遍，而是让每段轨迹覆盖更多真正的日常流程。DROID（Franka 平台）上则完全使用公开数据集。模型各训 100K 步、全局 batch 128，除文本编码器、图像编码器与 VAE 冻结外全部参数更新（论文试过 LoRA，效果不佳）。

结果侧的差异主要落在四组对照上。

与 SOTA VLA 的正面对比。基线选 GR00T N1.6 与 π₀.₅，各按两种初始化评估（从预训练 VLM 起步，或用官方在数千小时跨具身数据上预训练的权重），再用与 DreamZero 完全相同的数据继续训练。在「已见任务、未见环境与物体」的评估里，DreamZero 平均任务进度 62.2%，最好的预训练 VLA 基线只有 27.4%；从零起步的 VLA 接近零。

零样本新任务。10 个训练分布中完全不存在的任务（解鞋带、熨衣服、刷油漆、握手……），DreamZero 平均 39.5%，预训练 VLA 基线 16.3%，从零 VLA 不到 1%。更强的信号在定性观察里：失败的 VLA 倾向于无视指令伸手抓取（过拟合到主导行为「抓放」），而 DreamZero 在没见过的任务上先做视觉规划再执行。

任务内专精训练之后泛化性是否还在。在叠衣服、水果装袋、收桌子三个任务上各做 50K 步后训练，DreamZero 在未见环境中仍持平或优于预训练 VLA 基线——「做完专精训练就忘了通用能力」这个 VLA 的老问题，在这里没有再现。

数据多样性消融。500 小时多样数据对 500 小时重复数据，简单抓放任务的进度是 50% 对 33%；而把 VLA 基线放大到 8B/32B 并配上同等的 DiT 动作头之后，在多样数据上依然是 0% 任务进度——模型只会在物体附近徘徊不接触。这一组对照基本排除了「VLA 只是规模不够」的解释，指出问题在目标函数本身：只学「观测到动作」的映射，缺少「世界将会怎样」的显式监督，学不动分布很宽的数据。

论文 Figure 8~10 的三张实机评估图给出上述数字的同时还报告了一个值得玩味的现象，论文 Figure 2 的联合生成示例把这一点展示得更直观：生成视频与真实执行之间的对齐度相当高，连次优行为都对得上——大多数失败先表现为视频生成错了，随后动作才开始偏离。这个观察反过来支持了「视频质量决定策略性能」的因果链。

跨具身：只给视频，不给动作#

WAM 框架最具想象空间的推论在跨具身这件事上。既然动作是生成出来的而视频是学习目标，那么任何「另一个具身执行同类任务」的视频——哪怕动作学不同、哪怕是人类第一视角——都可以只以视频形式参与训练，扩充世界模型对任务动力学的理解。这在 ACWM 与 VLA 的框架里都没有对应的操作：前者的输入就需要配对动作，后者的输出就是动作。

DreamZero 用两组实验验证了这一点：机器人对机器人（YAM → AgiBot G1，20 分钟视频数据）与人类对机器人（12 分钟第一视角视频）。两组数据都只保留视频预测目标（无动作标签），与 AgiBot 预训练数据按 1:1 混合再训 10K 步。在 9 个未见任务上，基线 38.3%，机器人视频迁移后 55.4%，人类视频迁移后 54.3%——十几分钟的视频数据带来约 17 个百分点的提升，且样本效率更高的机器人视频与形态差距更大的人类视频效果几乎相同。

更进一步是少样本具身适配：把在 AgiBot G1 上预训练的权重，用 55 条轨迹、约 30 分钟的 YAM 新机器人「玩数据」（play data，非演示）做后训练，模型不仅适配了新本体，还保留了对新物体的语言跟随与零样本泛化能力。论文把这称为目前数据效率最高的具身适配基准。这里同样有两个值得注意的细节：动作表征使用相对关节位置，且训练前过滤了空闲（idle）动作——这两项处理对迁移稳定性有实际影响。

把这一节的结果压缩成一句话：WAM 把「机器人数据」的范畴从「配对动作的真值轨迹」扩展到了「任何具身执行任务的视频」，而这个扩展是模型目标函数（联合生成）直接赋予的，不需要任何额外的对齐工程。

实时性：5.7 秒到 150 毫秒，以及每一步砍的是什么#

视频扩散模型当策略，绕不开时延。裸跑的 DreamZero 在单卡上生成一个块要约 5.7 秒——瓶颈有三：为平滑动作所需的多步迭代去噪、14B DiT 的单步开销、以及推理期间阻塞机器人运动的串行执行。论文的加速方案分三层，值得逐层看清楚每刀砍在哪里，因为层级不同，「无损」的成色完全不同。

系统层（数学上等价或近似等价）。异步闭环执行把约束从「推理完成机器人才能动」改为「推理必须赶在当前块过期前完成」——执行器连续消费最近一块，推理与执行并行。其下是 CFG 并行（classifier-free guidance 需要条件与无条件两次前向，拆到两张卡，单步时延降 47%）和 DiT 缓存（利用 flow matching 速度场预测的方向一致性，前后两步速度余弦相似度超阈值就复用，把有效 DiT 步数从 16 降到 4）。

实现层。torch.compile 配 CUDA Graphs 消除 CPU 开销；Blackwell 卡上做 NVFP4 后训练量化，敏感的 QKV 与 Softmax 保 FP8、LayerNorm/RoPE 等非线性保 FP16；注意力走 cuDNN 后端，调度器操作迁到 GPU 消除同步等待。

模型层（改训练目标）。DreamZero-Flash 解耦视频与动作的噪声调度。问题出在这：联合训练时视频和动作共享噪声时间步，推理时若把动作砍到一步，视频还带着噪声，残缺的视觉条件会污染动作预测——4 步砍到 1 步，任务进度从 83% 掉到 52%。Flash 的做法是训练时让视频时间步偏置到高噪声端（ $t^{\mathrm{video}} = 1-\eta$ ， $\eta\sim\mathrm{Beta}(7,1)$ ，期望 0.125，即以重噪声为主），动作保持均匀采样。这迫使模型练会一件事：在视觉上下文仍然含噪的情况下，预测出干净的动作。这正是少步推理时模型真正面对的工况。效果是 1 步去噪达到 74% 任务进度（只比 4 步基线低 9 个百分点），推理时延从约 350 毫秒砍到约 150 毫秒。

累计下来（论文 Table 1）：系统与实现层在 H100 上合计约 9 倍、在 GB200 上约 16.6 倍（含 NVFP4），加上 Flash 后在 GB200 上达到 38 倍，5.7 秒落到 150 毫秒——按 30Hz 控制、48 步视野（1.6 秒/块）的部署参数，推理留出了约 200 毫秒的吞吐余量，最终闭环控制跑在约 7Hz。论文特意注明除 DiT 缓存与量化外，其余优化在数学上等价于基线、无可测的性能损失；DiT 缓存与量化的损失在 Table 3 的对照里被 Flash 一并吸收。

还有两个工程细节决定了动作能否真的上机：动作块平滑（上采样 2 倍、过 Savitzky-Golay 滤波、再降采样，抑制高频抖动）和输出缓冲。另外论文坦诚记录了失败模式：约 7Hz 的帧率仍无法保证零延迟反馈，接触密集型任务（如插拔）会出现视频与执行短暂脱节的情况。

部署者的账本：这条路线现在值不值得追#

把前面的内容换成一个部署决策视角，这条路线的收益与代价各是什么。

收益侧有三条硬的。第一，零样本泛化的绝对数字（62.2% 对 27.4%）意味着新环境上线时的调试重心，从「为每个环境补采数据」部分转移到「检查视频生成质量」——而后者可以离线做，不需要机器人驻场。第二，跨具身视频迁移把数据获取成本从「遥操作小时」降到「任意视频分钟」，对多机型产线是量级差异。第三，「失败首先是视频生成失败」这一可观测性，让策略调试从黑盒变成可以先看模型想象了什么、再决定要不要执行——这是 VLA 不具备的调试界面。

代价侧同样有三条。第一，算力账不平：约 7Hz 的控制频率依赖两张 GB200，而消费级 GPU 上的 VLA 已经能跑到 20Hz 以上。如果目标场景是低成本边缘部署，这条路线今天还不成立。第二，视觉记忆窗口只有约 6.6 秒，长时程任务（先后次序、跨房间状态）需要外挂 System 2 规划器，或等待更长的上下文窗口——论文把两者都列为未来工作。第三，训练配方依赖高质量视频基座与冻结编码器的微调稳定性，模型每迭代一版视频基座，机器人侧的全部微调就要跟着重来，这个跟跑成本在 VLA 路线里同样存在，但在「策略性能 ≈ 视频质量」的 WAM 范式里被放大了。

还有一层结构性判断值得单说：WAM 与 PhysisServe 所代表的系统侧路线，缓解的是约束的两个不同分量。DreamZero 论文给的部署数字（2 卡 GB200 跑 7Hz）是「一个模型独占一台推理机」的点方案；PhysisServe 的出发点则是让一份高频世界模型算力被多个并发的物理 AI 进程共享（时分复用、虚拟 rank 调度），把点方案变成服务。两者的衔接点在自回归去噪这个计算结构上——模型侧选择自回归 DiT 不是为了快（它比双向慢），而是为了 KV 缓存与真值回灌；但正因为这个结构，系统侧的流水线化（去噪步 × Transformer 层展开成两级流水）才有抓手。选型时值得把这条依赖链看清楚：模型结构的决定（自回归或双向）会顺着 KV 缓存一路传导为系统侧可用的并行策略集合。

对已经 Follow 了本站具身智能脉络的读者，把这篇放进系列里的位置大致是：具身智能完全入门给出感知-行动闭环与 VLA 的基本图景，NeuroVLA 讨论控制回路里的分层与反射时延，带上记忆的 VLA 处理时序上下文从窗口到持久记忆的谱系——它们分别回答「闭环怎么组织」「控制时延怎么压」「历史怎么记」。本文回答的是其中最上游的一环：闭环里喂给控制器的那个「策略」，为什么应该是一个同时想象世界与动作的模型。硬件侧的路线对照（人形形态选择）见人形机器人必答题。

仍待回答的问题#

WAM 范式目前更像一个强有力的开端而非成熟方案，至少有四个问题悬而未决。

规模定律缺位。「14B 优于 5B、多样优于重复」是两个数据点，不是一条曲线。视频基座规模、数据量、算力各自的边际贡献还没有可靠测量；论文明确承认 WAM 的规模定律可能与 VLA 不同（动作性能似乎直接随模型规模上升），但证据还没跟上。

人类数据的上限未知。12 分钟第一视角视频已经带来可观增益，但那是实验室内受控采集的；真正的域外人类视频（网络规模）与机器人动作的形态差、视角差更大，迁移收益与噪声的平衡点在哪里，没有实验支撑。

System 1 边界。当前架构本质是一个 6.6 秒记忆的反应式策略。长时程任务、错误恢复、任务中断重启，这些需要一个显式的规划层，而这个规划层与 WAM 的接口长什么样（语言-conditioned 子目标？视觉子目标？）还处在共识之前的阶段。

真实部署的可靠性证据。论文的评估以任务进度（task progress）分维度报告，成功率的绝对数字在多数表格里并不亮眼；接触密集任务的「视频-执行脱节」被作者明确列出。把这条路线推进到产线，需要的不是又一份 benchmark 上的领先，而是失败模式可分类、可预警的运行时证据。

不过即便把这些折扣都打足，结论依然是清晰的：把视频生成当成策略的内环而非外挂，这件事第一次同时拥有了泛化数字、数据经济学和实时推理三方面的支撑。它没有宣告 VLA 时代结束，但它给出了一个此前不存在的选择——当动作数据的预算成为瓶颈时，也许该换个问题问：不是「怎么用更少的遥操作数据训更好的策略」，而是「怎么让模型从无限的免费视频里，把动作自己长出来」。

音乐

音乐