世界模型从零讲起(十六):动作怎么进入模型——动作空间、离散化、分块与跨具身对齐

11924 字
60 分钟
世界模型从零讲起(十六):动作怎么进入模型——动作空间、离散化、分块与跨具身对齐

承接前十五篇:被反复引用、却从没正面讲过的那一层

前面十五篇把世界模型拆成了概念框架、四类技术路线、评测栈、部署工程、推理账本和一张预算地图。每一篇都会出现同一个符号:ata_t。第一篇定义转移函数 zt+1=f(zt,at)z_{t+1}=f(z_t,a_t)(世界模型从零讲起(一)),第五篇讨论动作作为输出(第五篇),第八篇用动作序列做潜空间搜索(第八篇),第七篇讨论动作分块如何掩盖推理延迟(第七篇)。这个符号在不同的文章里承担了完全不同的语义,却始终没有被单独打开看过。

这篇把 ata_t 打开。它要回答的是:一个动作在进入模型之前,要经过哪几道加工,每一道加工会损失什么、换来什么。 动作空间选关节角还是末端位姿,连续量还是离散 token,单步还是若干步一包,用哪一套归一化统计量,最后以什么形式并进条件——这些选择看起来是数据预处理层面的琐事,实际决定了模型能学多准、跨具身能不能迁移、推理延迟能不能压进控制周期。

这一篇仍然属于基础层:不引入新的模型架构,只把接口讲干净。讲完之后,前面十五篇里那些「动作作为条件」的段落才会有可落地的含义。它与具身智能的整体介绍有交叉但侧重不同:具身智能完全入门 只是把「离散动作」与「连续动作」作为 VLA 的两条路线一笔带过,这里要把动作表示本身逐道工序打开。

动作到底是什么:一个被低估的表示问题

机器人动作的物理层次

「动作」这个词在机器人学里有好几个层次,从底层到高层依次是:电机电流或力矩、关节位置与速度、末端执行器在笛卡尔空间中的位姿、以及更高层的任务语义(抓取、推、放置)。世界模型作为一个在观测空间或潜空间里做预测的模型,它接收的动作通常是中间两层之一。

分层来看,控制栈自上而下依次是任务规划、运动规划、控制器与执行器。世界模型做的是「给一个动作,预测世界会怎样」,所以它需要的是离散时间步上的控制指令序列,也就是控制器真正接收的那一层。再往下的力矩层与模型的关系不大——力矩到运动之间的映射由机器人的动力学与控制器决定,不属于世界模型要学的部分;再往上的任务语义又太稀疏,无法支撑逐步预测。这条边界很重要:世界模型学到的是「控制指令 → 观测变化」,而不是「电机电流 → 观测变化」。 所以换一台控制器参数不同的同型号机器人,动作的数值含义可能就变了,这是后面跨具身对齐难题的物理根源。

维度、单位与取值范围

一个动作向量的具体形态由机器人本体决定:

  • 关节空间(joint space):每个自由度一个角度或位移。七自由度机械臂是 7 维,加上夹爪开合是 8 维。单位是弧度或米,取值范围由机械限位决定。
  • 末端空间(cartesian / task space):三维位置加三维姿态,通常用位置 ++ 欧拉角或四元数表示,再加一维夹爪。数值单位是米与弧度,但姿态角的表示有歧义(欧拉角有万向锁,四元数有双覆盖 qq 与 −q-q 等价)。
  • 差分动作(delta):相对当前位姿的增量,而不是绝对目标。增量动作的好处是与当前状态解耦,坏处是误差会累积。
  • 移动底盘:二维线速度与角速度,或者目标点坐标。维度与操作臂完全不同。

这些差异不是学术细节。一个在 7 维关节空间上训练的模型,无法直接接受 6 维末端位姿动作——维度不匹配是最硬的一道墙,比数值范围不匹配更难绕。 归一化可以统一数值范围,但没法把 7 维变成 8 维,也没法把「弧度」翻译成「米」。

动作的时序语义

还有一层容易忽略:动作的时间尺度。同一个数值序列,在不同控制频率下意义完全不同。10 Hz 的一条动作序列和 50 Hz 的同一条序列,虽然数值一样,前者描述的运动是后者的五倍快。因此任何动作表示的规范里都必须带上控制频率,或者干脆把频率吸收进「帧」的定义——很多数据集的做法是固定「每帧一个动作」,而帧率写进元数据。

这三件事——维度、数值语义、时间尺度——合起来构成一个动作的契约(contract)。世界模型要能工作,训练数据、模型接口、推理时的控制器三者必须遵守同一份契约;契约不一致时,模型不是「效果差一点」,而是会稳定地做出错误动作。

动作空间的选择:关节角、末端位姿与差分

三种常见空间各自的因果结构

选择动作空间,本质上是选择「模型要学哪一段因果链」。

在关节空间给出动作时,模型学到的是「关节怎么转 → 世界怎么变」。这段映射里混着两件事:机器人自身的正运动学(关节角到末端位姿的映射),以及环境中物体对末端运动的响应。前者是解析已知的,后者是模型真正该学的。模型从数据里同时学两者,意味着它会花容量去拟合一个本来可以解析计算的函数。

在末端空间给出动作时,因果链更短:「末端要去哪 → 物体怎么动」。正运动学这一段被控制器负责,不进入模型的学习负担。这在直觉上更「面向任务」,也让不同机械臂之间的差异被吞到控制器里——这是不少跨具身工作选择末端空间的主要原因之一,但它不是唯一选择:保留关节空间、用填充与掩码处理维度差异是另一条同样主流的路,后面会看到具体案例。

差分动作则是第三种选择:给相对位移,而不是绝对目标。它对当前状态的依赖更弱,同一段轨迹可以从不同初态出发执行,数据利用率更高。代价是长序列上误差会累积,末端可能漂移到目标外。

空间维度学到的是什么主要缺点
关节空间每自由度 1 维 ++ 夹爪正运动学与物体响应混合需为每种机械臂学一套运动学
末端空间(绝对)位置 3 ++ 姿态 3/4 ++ 夹爪任务空间的运动意图绝对姿态表示有歧义
末端空间(差分)同上相对当前状态的增量长序列误差累积
移动底盘线速度 + 角速度基座运动与操作臂维度完全不同

姿态表示的歧义为什么重要

末端姿态可以用欧拉角、轴角、旋转矩阵或四元数表示。每一种都有需要处理的问题:

  • 欧拉角:三维旋转的最小参数化,但存在万向锁,且同样的旋转在不同参数化下相差 π\pi 的跳变,会让模型在边界处学到不连续的映射。
  • 旋转矩阵:9 个数,冗余 3 维,但连续、无奇异;代价是训练时网络输出必须被投影回 SO(3)SO(3),通常用奇异值分解或 Gram-Schmidt 正交化。
  • 四元数:4 个数,有双覆盖——qq 与 −q-q 表示同一个旋转。这造成一个隐蔽的问题:两个物理上几乎相同的姿态,参数空间里可能离得很远。训练时常用的做法是在比较前后强制取同半球(点积为负则取负),但预测端仍然会时不时吐出「等价却远处」的四元数。

这个细节经常被忽略,却直接影响模型的质量。比如一个世界模型在潜空间里比较预测动作与真实动作的误差,若不做半球对齐,它的训练信号就会被四元数的符号任意性污染。

夹爪与离散量的混编

真实的机器人动作往往是连续的(关节、位姿)与离散的(夹爪开合)混在一起。把夹爪当作连续量处理会引入不自然的中间值;把它离散成二值又破坏了与连续维度的联合分布。常见折中是把它当作连续量归一化到 [−1,1][-1,1] 后用阈值二值化,或者在 token 化时保留它的二值性质单独编码。这也解释了为什么动作 token 化不像文本那么容易:一个动作向量内部本就混合了不同性质的量。

归一化:不处理它,世界模型会稳定地学错

为什么归一化是硬需求

不同维度的动作数值范围差异巨大:关节角可能是 [−3,3][-3,3] 弧度,夹爪只有 [0,1][0,1],底盘线速度可能是 [0,1.5][0,1.5] 米/秒,而末端位置的范围还可能随工作空间变化。直接在网络里用这些原始数值,会让几维主导梯度和损失,其余维度几乎学不动。

标准的做法是按维度计算均值 μj\mu_j 与标准差 σj\sigma_j,做

a~j=aj−μjσj\tilde{a}_j = \frac{a_j - \mu_j}{\sigma_j}

其中 aja_j 是第 jj 维动作的原始值,μj\mu_j 与 σj\sigma_j 来自训练数据的统计量。训练时网络看到的、损失计算的都是 a~j\tilde{a}_j;部署时控制器拿到的输出要反归一化回去:

aj=σja~j+μja_j = \sigma_j \tilde{a}_j + \mu_j

分位数归一化:为什么用分位数而不是均值方差

均值-标准差统计有天然的脆弱性:一个离群的动作样本就能把 σj\sigma_j 拉大,让其余样本被压在非常窄的范围里。机器人数据里这种离群点极其常见——遥操作手抖一下、碰撞后失控的指令、某次录制设备异常。用全量统计量,一个坏样本会让整维动作几乎失真。

一个更稳健的替代是按分位数归一化:取训练集每一维的 1% 分位数 qjlowq^{\text{low}}_j 与 99% 分位数 qjhighq^{\text{high}}_j,把区间 [qjlow,qjhigh][q^{\text{low}}_j, q^{\text{high}}_j] 映射到 [−1,1][-1,1]:

a~j=2(aj−qjlow)qjhigh−qjlow−1\tilde{a}_j = \frac{2(a_j - q^{\text{low}}_j)}{q^{\text{high}}_j - q^{\text{low}}_j} - 1

超出区间的值会被截断。分位数只关心排名,不关心数值本身,所以单个离群点最多贡献一行,不会改变 ±1\pm1 的边界。这也是很多 VLA 训练配置里实际采用的做法。

归一化统计量从哪来:这是一个部署问题

更隐蔽的一点是:μj\mu_j、σj\sigma_j 或分位数,是从哪个数据集算出来的。 如果统计量来自训练集,而推理时的状态分布不同(换了场地、不同光照下的动作分布、操作不同尺寸的物体),反归一化的输出就会系统性地偏掉。

这不是理论担忧。同一策略在不同部署场景里的成功率差异,很大一部分来自统计量的错配,而不是模型本身的泛化能力。工程上的常见处理有三条:

  1. 把统计量与模型权重一起打包,部署时不依赖外部配置;
  2. 用少量现场数据重新校准归一化参数,只微调统计量而不动权重;
  3. 用自适应层归一化之类的结构,让网络在运行时自己调整输出分布。

第二条尤其重要:它意味着部署时「微调」的对象可能只是几个统计数字,而不需要梯度下降。这与第七篇拆解延迟预算时归到 δpre\delta_{\text{pre}} 那一项的归一化是同一条线索——归一化不只是预处理,它把训练与部署绑在同一组统计量上,统计量一旦漂移,误差就会跟着动作一起进闭环。

离散化:把连续动作变成 token

为什么要离散化

基于 Transformer 的世界模型与 VLA 模型,输出通常以 token 为单位。连续动作要进 Transformer,有两条路:要么在模型外部接一个连续输出头(例如扩散头、流匹配头),要么把动作变成一串离散 token,用标准的语言模型式交叉熵来训练和生成。

后一条路对世界模型非常有吸引力:它让「预测动作」和「预测观测 token」之间共用同一套自回归机制,模型可以把动作当成另一种语言来学。Genie 这类可交互世界模型里,离散动作是用户控制的输入;DreamerV3 用离散潜变量做预测;更一般的 VLA 里,离散动作 token 让模型可以复用大规模预训练语言模型的结构。

最朴素的做法与它的失败

最直接的做法是逐维量化:每一维 aja_j 用 KK 个 bin 的量化器映射成整数,再查表成 token。这条路线由 RT-2(2023-07,arXiv:2307.15818)大规模验证过:它把每个动作维度独立离散成 256 个 bin,让动作预测变成语言模型词表上的普通分类问题。在维度少、动作平滑时这种做法能用,但在真实机器人动作上问题很多。

FAST 论文图 3:用插值任务训练小型自回归 Transformer,比较不同采样频率下分箱量化的预测质量

这张图来自 FAST 论文,是一个精心设计的教学性实验:让一个小自回归 Transformer 在一个插值任务上学习复现一条曲线,只改变底层信号的采样频率。结论与直觉相反——用先前 VLA 常用的分箱量化时,采样频率越高,预测质量反而越差。 原因是频率升高后,相邻时间步的 token 高度相关,模型要在逐 token 的条件下重建快速变化的细节,而分箱量化把动作拆成了彼此独立的整数,等于把时序结构从表示里抹掉了。FAST 的频域 tokenization 在同一组实验里对各档采样率都保持稳定,这正是它相对分箱量化的核心优势。

这个结果解释了一个常见的工程误区:以为「动作序列砍短、token 变少」就是省成本的好事。token 变少的代价是每个 token 要承载更长的时间跨度,模型必须在 token 之间自己补出高频细节;而高频细节恰恰是自回归生成最不擅长的部分。压缩应该在频域做(保留低频、丢弃噪声级的抖动),而不是在时间轴上粗暴抽样。

为什么逐维量化会失败?根源在于高频、高精度的微小抖动分布在多维度组合里。一个 7 维动作,每维 256 个 bin,理论组合空间极大。自回归模型在生成时,每一维的误差会叠加到下一维的条件里,形成误差放大。此外,单纯量化不会利用「相邻时间步的动作是连贯的」这一结构信息——每个 token 都是独立的数值,模型要从头学会时序连续性。

频域 tokenizer:DCT 加 BPE

FAST 论文给了一条不同的思路:先用离散余弦变换(DCT)把动作时间序列变换到频域,只保留低频成分做压缩,然后对剩余系数做量化并组织成 token 序列。

FAST 论文图 2:左侧是 FAST tokenization 让自回归 Transformer 通过下一个 token 预测做灵巧控制;右侧是 FAST 与 OpenVLA 式分箱量化在不同控制频率下的对比

这张图同样来自 FAST 论文(图 2)。左半边是机制:动作轨迹被压缩成一串 token,自回归 Transformer 只要做「预测下一个 token」,无需额外的输出头,这个框架与语言模型的结构完全对齐,所以能直接接到已有的 LLM 骨架上。右半边是证据:横轴是数据的控制频率,纵轴是分数,曲线对比 FAST 与 OpenVLA 式分箱量化。图想说明的正好是这里讨论的问题——分箱量化在高频数据上明显吃紧,FAST 的优势主要体现在控制频率越高的时候。原因与前面分析的逐维量化失效机理一致:频率越高,相邻 token 之间的相关性越强、高频细节越多,而逐维分箱无法利用时序结构,FAST 的频域压缩恰好把时序结构显式编码进了 token。

为什么 DCT 合适?机器人动作的时间序列有两个特征:一是大部分信号能量集中在低频(任务级的运动是缓慢的),二是高频分量主要是传感器噪声与遥操作的抖动。DCT 把这两个部分在频域上分开,去掉高频就等于在几乎不损失任务信息的前提下压缩了序列长度。这比「每隔几步抽样一个动作」多保留了什么?前者保留了整体运动走势(低频),后者是把时序结构整个丢掉。

但 FAST 也遇到一个难题:不同机器人的动作尺度差很大。同一套 tokenizer 要能对一台慢速双臂和一台快速单臂都给出细粒度表示,而 DCT 系数的分布差异会让量化器的 bin 边界失去意义。它在 DCT 之前插入了归一化:按每一维在训练集上的 1% 与 99% 分位数,把取值映射到 [−1,1][-1,1]。这一步与前面讲的归一化是同一件事,但在这里承担了双重作用——既把数值压进固定区间,也让不同本体的动作尺度被拉齐,使 DCT 系数落在可比的范围内。正因为归一化先做掉了尺度差异,后面的量化器只需要关心「形状」,不需要为每种机器人准备一套 bin 边界。

动作 token 词表与词表浪费

把动作离散成 token 后,还有一个容易被低估的问题:词表利用率。如果在通用语言模型词表之上额外添加动作 token,或者设计一个独立的动作词表,实际训练中常用的 token 可能只占一个很小的子集。剩下的 token 在训练里几乎不见到,模型对它们的预测基本是噪声。

这个问题直接影响生成质量。解码时模型在每一步的候选集里做 softmax,大量从未有效训练过的 token 会稀释概率质量,让输出的动作串更容易出「非法 token」。一些实现的做法是:统计训练集的动作 token 分布,裁剪掉几乎不出现的 token,缩小词表,再把动作 token 与语言 token 分开处理,让动作生成和文本生成有不同的采样策略。

动作分块:一次预测多步,为什么这几乎是必选项

高频单步预测的病:误差自回归

如果一个模型每步只预测一个动作,然后立刻执行、再观测、再预测,会陷入一个系统性问题:一次小误差会被下一次的条件放大。 这是自回归生成的通病,在控制闭环里尤其致命——模型预测的动作稍微偏了一点,执行后环境状态偏了一点,下一个观测就带着这个偏差,模型再基于偏差给出动作,偏差逐级累积,最终表现为「任务做一半就走偏了」。

对世界模型尤其如此:世界模型要利用自己预测出的潜状态继续向前推演,而潜状态的误差不会被真实的观测纠正(在训练时,真实观测可以纠正,部署时的规划阶段则不会)。这也解释了为什么第八篇讲潜空间规划时,规划视界必须保持很短——长视界会把复合误差放大到不可用。

ACT:动作分块(action chunking)的提出

一个直接而有效的干预来自 ACT(Action Chunking with Transformers,2023,Stanford,论文题为 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware)。这篇论文原本解决的是低成本双臂遥操作系统的细粒度操作问题——ALOHA 硬件。它的核心贡献之一是动作分块:

  • 不是每一步预测一个动作,而是一次性预测未来 kk 步的动作块;
  • 执行时把整个块开环执行(或在执行中根据新的观测重新生成下一块);
  • 下一块开始前,重新观测并重新生成。

这样做的直觉是:模型每次生成一个块,块内的动作是联合预测的,所以块内不会出现逐级累积;块与块之间用真实观测重新对齐,把误差「重置」在块边界。此外,一次前向生成 kk 步动作,让模型调用频率降低到原来的 1/k1/k,这对推理延迟是极大的收益——单次前向只要在「执行一块的时间」内完成就行。

ACT 论文中的动作分块消融:把基线方法加上动作分块,不同块长 k 下的成功率曲线

这张图是 ACT 论文的分块消融实验:两个基线(BC-ConvMLP 与 VINN)各自加上动作分块,横轴是块长 kk,图中取了 1、10、100、200、400 这几档,纵轴是成功率,k=1k=1 就等价于不分块。图中还区分了完全闭环与完全开环两种执行方式,对应「每个控制周期都重新观测」与「整块执行完再观测」两端。

能从这张图读出的最直接结论是:给基线加上分块之后,成功率相对 k=1k=1 有明显提升;而块长继续增大时,收益不是线性增长的,而是趋于饱和,并开始受执行方式的影响。这与前面的机制解释一致——分块的主要收益来自「把误差重置在块边界」与「降低推理频率」,而块太长会让块内执行失去观测反馈,开环与闭环的差别就在这一段被放大。

这条曲线是理解动作分块最好的入口。它把「为什么几乎所有现代 VLA 和世界模型都做分块」变成了一个可测量的权衡:块长是一个超参数,受任务的速度、环境的可预测性、以及模型的推理延迟共同决定。

块长怎么选

块长的选择不是拍脑袋。实践中考虑三件事:

  • 推理延迟:一次前向生成一个块需要的时间 TgenT_{\text{gen}},必须小于执行一个块的时间 Texec=k⋅ΔtT_{\text{exec}} = k \cdot \Delta t,其中 Δt\Delta t 是控制周期。否则闭环就会被卡住。这给块长一个下界。
  • 环境变化速度:如果环境在几百毫秒内就发生显著变化,块就不能太长。这给块长一个上界。
  • 模型的块内一致性:模型能否生成「块长越长质量不下降」的动作,取决于它对多步联合分布的建模能力。

下界可以写成一条不等式:

k≥TgenΔtk \ge \frac{T_{\text{gen}}}{\Delta t}

式中的 kk 是块长(每个块包含的动作步数),TgenT_{\text{gen}} 是模型生成一个块的单次前向耗时,Δt\Delta t 是控制周期。这个下界的经济含义很直接:块长必须大到让「生成一块的时间」被「执行一块的时间」覆盖,否则每一块都来不及在下一次观测到来之前算完,闭环周期被迫拉长。

这三个约束的交集决定了可用的块长。也正因为块长要满足这些约束,现代工作会在不同场景下用不同的块长,或者设计一种自适应的块长——第五篇讲的自适应想象,本质上就是在「块长之外再加一层时间尺度」。

块之间的缝:重叠与重新规划

单纯按块切开会产生边界问题:块 ii 的最后一个动作与块 i+1i+1 的第一个动作可能来自两次独立推理,中间没有连续性保障。两种常见处理方式:

  1. 重叠执行:下一个块的开头几个动作与上一个块的末尾重叠,执行时用平滑插值把两者混合,消除跳变。
  2. 随观测重新规划:每到一个块边界就根据最新观测重算整块,这牺牲了部分块内收益,但保证状态一致。

第七篇讨论异步执行时已经分析过「动作分块之间的缝怎么补」,这里给出动作表示侧的解释:块边界的连续性由两点决定——模型输出的块内是否连续、以及块与块之间的拼接策略。前者是模型训练时通过「整块同时输出」自然获得的(块内动作共享同一套自回归条件,天然更连贯);后者是运行时工程。

动作如何进入模型:条件注入的两种形态

动作 token 拼接

对于纯 Transformer 的 VLA 或世界模型,动作进入的方式通常是 token 拼接:把动作 token 按时间顺序排在观测 token 之后,然后用注意力把它们和观测 token 关联。这种形态下,动作 token 与文本 token、图像 token 处于同一个序列里,模型用统一的注意力来处理所有模态。

OpenVLA 架构:在视觉 backbone 与语言模型之间把图像特征与指令对齐,动作作为离散 token 由 LLM 解码

这张图来自 OpenVLA(2024-06)。它的结构说明了一个重要的设计:视觉特征先经过投影层进入语言模型的 token 空间,动作则被离散化成 token,和文本一起由语言模型的输出头解码。图中的关键信息是,图像与语言在输入侧被对齐到同一 token 空间,而动作在输出侧也以 token 形式产生——整个模型从头到尾都是「token 进、token 出」。这正是前面讨论的离散化路线的直接体现。

这个结构的好处是动作生成可以完全复用语言模型的自回归习惯,不需要额外的输出头;坏处是离散化带来的精度问题,以及前面提到的词表浪费。OpenVLA 的量化细节值得单独记一笔:每一维单独量化成 256 个 bin,而 bin 的宽度不是铺满全量程,而是均匀划分训练集上第 1 到第 99 百分位之间的区间。论文明确说明这样做的理由——用分位数可以忽略离群动作,否则少数异常值会把量化区间撑大,有效分辨率随之下降。这与前面归一化一节的分位数做法是同一个动机,只是用在量化器上。

连续条件:扩散头与流匹配头

另一条路是把动作作为连续信号注入。常见形式有两种:

  • 扩散头:在语言模型的输出上接一个小型扩散模型,让它从噪声中去噪出连续的动作向量。这条思路直接来自 Diffusion Policy(2023-03,arXiv:2303.04137),它把策略建模成对动作序列的条件扩散过程,再在 VLA 上延伸成输出头。
  • 流匹配头:用一个连续流把噪声映射到动作,比扩散更少步,生成更快。
π0 系统里使用的不同机器人本体:单臂、双臂、6 自由度与 7 自由度机械臂,以及移动平台等

这张图来自 π0(2024-10,Physical Intelligence)。π0 的价值在于它把流匹配头应用于大规模多机器人数据,并明确处理了一个跨本体的前提问题:不同机器人的动作维度和语义不同,模型必须在一个统一的动作空间里训练。 图中的机器人涵盖单臂、双臂、不同自由度、移动平台,动作维度从 7 维(单臂 UR5e)到 17 维(双臂 ++ 全向底盘)不等。π0 的选择与直觉相反:它没有统一到末端空间,而是保留关节角动作,把每个本体的动作向量零填充到统一的 18 维,再对缺失维度做掩码;图像数量不足三个的机器人同样用掩码补齐。这恰好是前面列出的第二条路线——逐维独立编码加掩码——的真实案例,而不是末端空间统一。它保留关节空间的全部信息(包括冗余自由度),代价是序列更长、模型必须学会哪些维度组合是合法的。

两种形态的取舍

形态优点缺点适用场景
动作 token 拼接结构简单,复用 LLM 解码机制;观测与动作共用自回归离散化精度损失;词表浪费;长动作串误差放大通用 VLA;需要输出语言的地方
连续头(扩散/流匹配)连续精度高;天然支持多模态动作分布;与动作分块配合好额外组件与训练参数;生成需多步去噪精细操作;对精度要求高的场景

这里的取舍与第三篇里 JEPA 的讨论是同构的:离散量适合「复用语言模型的能力」,连续量适合「表达连续物理世界」。真实系统的常见做法是两段式——动作块由连续头生成,而世界模型的观测预测仍是离散 token,两者在不同模块里共存。

回到控制栈那条纵向的分层:世界模型输出的动作要落到控制器上,才能真正变成运动。这个衔接点正是所有归一化、维度、频率约定的最终检验处——模型输出的动作向量若不能通过控制器的契约校验,模型再准也无法执行。

跨具身对齐:三面墙与三种绕过方式

跨具身是世界模型与 VLA 最常被提到的话题,但讨论往往停在「数据更多了」的层面。真正决定能否迁移的是接口层的三面墙。第五篇已经详细分析过数据经济学与 LAPA、MetaWAM 这类工作,这里只补齐动作表示侧的机制,避免重复。

第一面墙:维度不一致

不同机器人的自由度不同。七自由度机械臂、六自由度机械臂、双臂、移动平台,动作向量长度都不一样。这面墙最硬,因为任何固定的输入层都无法直接吃不同长度的向量。

三种常见绕过方式:

  1. 统一到末端空间。把每个本体的动作都映射成「末端位姿增量 ++ 夹爪」,得到一个维度固定的模板。OpenVLA 走的是这条路:它的训练数据被限制为单臂末端控制,动作是 7 维。代价是丢掉关节空间的冗余自由度信息——某些任务需要特定的关节构型才能完成(避障、奇异位形规避),而末端空间表达不了。
  2. 逐维独立编码 + 掩码。给每一维分配一个独立的编码器与 token,缺失的维度用掩码标记。π0 走的是这条路:保留关节角动作,把不同本体的动作零填充到统一的 18 维,缺失维度与缺失相机一样打掩码。优点是不丢信息,缺点是序列变长、注意力计算量上升,且模型必须学会「哪些维度组合是合法的」。
  3. 按本体分组建模。为每个本体训练一个适配层(adapter),共享主干。HPT(Heterogeneous Pre-trained Transformers,2024-09)是这条路的代表:它为不同本体分别对齐本体感知与视觉输入,压成一段短 token 序列,再由一个共享主干处理,让主干学到「任务与本体无关」的共享表示。这是最工程化的方案,参数量随本体数增长,但每个适配层可以很小。

第二面墙:数值语义不一致

即使维度一致,同一个数字在不同机器人上意义也不同。同样是「末端向前的位移 0.1」,对一台小型桌面臂与一台大型工业臂,速度与可达范围完全不同。更隐蔽的是控制器层面的差异:同一型号的机器人,若关节零位标定、减速比、控制增益不同,相同的关节指令会产生不同的实际运动。

这面墙的实质是:动作的语义绑定在「本体 ++ 控制器 ++ 标定」的三元组上,而不是绑定在型号上。 所以统一动作空间只是必要条件,不是充分条件。工程上常见的补丁有两个:一是对动作做最大幅度归一化(把绝对尺度吸收掉,只保留相对形状),这与 FAST 在 DCT 之前按分位数做的归一化是同一种思路;二是在部署时做在线标定,用少量数据估计当前本体与训练本体的动作映射偏差,把它作为一个可学习的偏置。

第三面墙:时序与频率不一致

不同数据集的采集频率不同。一个 10 Hz 的遥操作数据集与一个 30 Hz 的机器人数据集混合训练,如果不做时间对齐,模型会看到「同样的数值代表不同的运动速度」的混乱。标准的处理是把所有数据重采样到统一频率,代价是高频数据被降采样后损失细节,或者低频数据被插值后引入虚假的平滑。

更麻烦的是动作延迟。真实系统的观测到动作之间有几毫秒到几十毫秒不等的延迟,不同本体延迟不同。如果训练数据没有标注延迟,模型学到的「动作 → 观测」映射里就混入了延迟,部署时会系统性地提前或滞后。这类问题在跨本体迁移时会放大,因为不同本体的延迟差异可能正好与模型学到的偏差同向叠加。

对齐的本质:把「本体的差异」放在哪一层

三种绕过方式背后是同一个决策:把本体的差异放在模型的哪一层吸收。 放在输入侧(统一到末端空间),意味着差异被提前消掉,模型看到的是同质的表示,代价是信息损失;放在模型内部(逐维编码与掩码),意味着差异被保留,模型自己学,代价是容量与计算;放在外部(每个本体一个适配层),意味着差异被隔离,主干保持通用,代价是工程复杂度。

这个决策没有普适答案,它取决于本体数量、数据量、以及任务对精度的要求。但有一点是确定的:先确定动作契约,再训练模型;而不是先训练模型,再想办法把数据接进去。 后者往往在训练后期才发现动作空间不一致,代价是重训。

一个完整的接口流水线:从原始数据到控制器

把前面各节串起来,一个动作从数据集里的原始记录到最终驱动执行器,要穿过一条有七八道工序的流水线。每一道工序都有参数,每一组参数都必须被记录并随模型一起发布,否则部署时无法复现训练时的数值语义。

  1. 对齐与重采样:把不同频率的原始轨迹重采样到统一控制频率,插值方式(线性、三次样条、零阶保持)决定高频细节的保留程度。这一步同时要处理时间戳漂移与掉帧。
  2. 空间转换:把关节或末端动作换算到目标空间。末端空间需要机器人的正运动学,从关节角与相机相对位置求出末端在机器人基坐标系下的位姿。
  3. 姿态规范:把姿态统一成同一表示(例如统一的四元数约定),并做半球对齐。
  4. 归一化:按维应用分位数或均值方差,得到 [−1,1][-1,1] 或标准正态范围。
  5. 序列切块:按块长 kk 切成动作块,每个块附带对应的观测上下文。
  6. 离散化或连续头:token 路线做量化与词表映射;连续路线保持浮点并交给去噪器。
  7. 编码接入模型:作为条件 token、作为连续条件的一部分、或者作为输出头。
  8. 反归一化与空间逆变换:模型输出经过逆流程还原成控制器能接受的关节或末端指令。

这条链路里最容易出错的是首尾两端。开头的前处理若在训练与推理时有两份不同代码实现,看似相同的数值会在舍入与边界处理上出现细微差异;结尾的逆变换若漏掉某一步(例如忘了把四元数的半球恢复一致,或者忘了把归一化统计量乘回去),输出会整体偏移。更隐蔽的是中间表示的版本不一致:训练时用的是旧版正运动学参数,部署时机器人换了标定,逆变换和正向变换不在同一坐标系下,模型输出的末端位姿会平移一个固定量。这类错误在回放校验里可能完全看不出问题,因为回放用的还是训练时的同一套参数。

一条务实的工程原则是:把整条流水线固化成一个版本化的「动作编解码器」,训练与部署共用同一份实现,并在每个块记录所用编解码器的版本号。这样当某个环节需要升级(比如改进插值方式、修正姿态约定),模型可以与旧编解码器组合继续跑,而不会被静默地破坏接口。

接口层在推理时付多少账

动作表示的选择也会改变推理开销,这一点在预算地图里没有单独列格,因为它被摊进了「想象步数」与「规划算力」两项。把账拆开看:

离散 token 生成长度。 一个 kk 步、DD 维的动作块,若逐维量化,token 数是 k⋅Dk \cdot D。k=50k=50、D=7D=7 就是 350 个 token,每个都要走一次 KV 缓存 append 与前向。改成 FAST 那种压缩 tokenizer 之后,token 数大约只与时间序列的「低频自由度」成正比,通常能降到一个数量级以下。

连续头的去噪步数。 流匹配头的生成步数通常远小于扩散头,但仍然是多步前向。一个块由连续头生成时,每一步都要在动作维度上做一次小规模前向,NstepN_{\text{step}} 乘以块内维度。这部分的成本与块长耦合:块越长,单次去噪要覆盖的维度越大。这也是动作分块与连续头天然配套的原因——块长让「一次去噪换取多步执行」成为可能。

词表大小对输出的影响。 前面提到的词表浪费不是纯训练问题。解码时每一步的 softmax 与采样都作用在整个词表上,词表越大,单步开销越高,而且无效候选会稀释质量。裁剪动作词表在推理侧是直接的降本项。

把这三项放回第八篇的规划账本,以及第十五篇那张预算地图里,可以得到一个判断:动作表示的优化,对推理成本的影响甚至大于世界模型主干结构的优化。 主干少一层可能只省几个百分点,而把动作 token 从 350 降到几十、把去噪步数砍掉一半,节省的是整体延迟的一大块。原因在于动作序列的 token 数经常比想象中更占主导——世界模型一次要 rollout 的步数可以很少,而动作块一次就要几十个 token。

几个反复出现的工程坑

动作重复与帧跳

很多真实系统的控制器支持「动作重复」:同一个指令保持若干个控制周期再更新。这等价于把动作频率降低 rr 倍,但它在数据里表现为「连续 rr 个相同的数值」。如果预处理时把它当成正常的连续轨迹做归一化与统计,模型会学到大量零差分的片段,从而倾向于输出静止动作——在长视界上表现为「动作迟滞」。

处理方式有两种:要么在预处理时把重复段压缩掉并记录重复次数,让模型显式地看到「这是一次重复」;要么保留重复但在损失里降权,避免静止片段主导梯度。前者更干净,代价是序列长度变化,块长的切分也要相应调整。

绝对指令与相对指令混用

同一个块里混用绝对与相对动作是常见错误。绝对动作告诉模型「目标在哪」,相对动作告诉模型「怎么走」;两者在数值分布与语义上完全不同。混用时模型会在两种模式之间摇摆,输出的动作在块内可能前半段是绝对、后半段是相对,导致执行器抖动。

解决办法是在动作向量里显式保留一个「模式位」,或者干脆在训练时按模式分组,让每个块只包含同一种模式。

观测延迟与动作延迟的错位

如果训练数据里观测与动作的时间戳没有严格对齐,模型学到的映射会带上一个固定延迟。部署时若这个延迟与真实链路的延迟方向一致,误差被放大;方向相反,则被抵消。跨本体迁移时,这种错位尤其难排查,因为它不会表现为「完全不会做」,而是表现为「动作慢半拍」或「提前量过大」。

工程上的验证方法是做一次开环重放:固定一组历史观测与动作,用模型逐块预测,然后把预测的动作序列与真实记录的动作序列对齐比较,观察是否整体平移。若存在平移,说明训练数据的对齐有问题,而非模型能力不足。

块边界处的模式跳变

前面提到块内动作因为共享条件而更连贯。但块与块之间的拼接若不处理,会出现「上一块以低速结束、下一块以高速开始」的跳变。这在接触密集的任务(插拔、装配)里会被放大,因为接触力对速度突变极其敏感。除了重叠执行与平滑插值,另一种做法是让模型在生成新块时把「上一块的末尾几个动作」作为上下文的一部分,让输出在条件上就与上一块连续。

小结

动作不是「模型外面顺手接上的一个向量」,它是一份需要显式定义的契约,包含四件事:空间(关节还是末端)、维度与数值语义、时间尺度与频率、以及表示形态(连续还是离散)。

沿着这条契约链,本文把几道加工逐一拆开:

  • 动作空间的选取决定了模型学习哪一段因果链。末端空间把机械臂本身的运动学推给控制器,代价是丢失关节冗余;姿态表示(欧拉角、旋转矩阵、四元数)各自的歧义会污染训练信号;夹爪这类离散量与连续量混编需要单独处理。
  • 归一化不是可选预处理。均值-方差统计对离群点脆弱,分位数归一化更稳健;统计量本身是部署契约的一部分,错配会导致系统性的动作偏差。
  • 离散化把动作变成 token,让模型复用语言模型的自回归机制,但朴素逐维量化在高维、高频动作上失效;频域压缩(DCT 加 BPE,FAST 路线)在分位数归一化之上是目前更稳的做法;词表浪费是常被低估的工程问题。
  • 动作分块(ACT 路线)把误差累积截断在块边界,并把推理频率降到 1/k1/k;块长受推理延迟与环境变化速度双向约束。这条曲线的消融实验是理解「为什么现代系统都做分块」最直接的证据。
  • 动作进入模型有 token 拼接与连续头两种形态,分别对应「复用 LLM 能力」与「表达连续物理世界」两种取向;OpenVLA(离散动作 token)与 π0(流匹配动作头)是两种取向的代表。
  • 跨具身对齐本质上是一个决策:把本体的差异放在输入侧消掉、放在模型内部学、还是放在外部隔离。顺序必须是「先定契约,再训练」,反过来会付出重训的代价。

这一层看起来细碎,但它决定了前面十五篇的所有结构能否真正在生产里落地——一个结构再好的世界模型,如果动作契约没对齐,它的输出就是一组无法执行的数字。概念、路线、评测、规划、系统、能耗、预算都讲过之后,剩下的正是「这些模型手里的动作到底是什么」;把它讲清楚,前面十五篇里所有关于 ata_t 的公式与账本才落在同一份契约上。

参考资料

  1. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(ACT,2023-04,arXiv:2304.13705)
  2. OpenVLA: An Open-Source Vision-Language-Action Model(2024-06,arXiv:2406.09246)
  3. FAST: Efficient Action Tokenization for Vision-Language-Action Models(2025-01,arXiv:2501.09747)
  4. π0: A Vision-Language-Action Flow Model for General Robot Control(2024-10,arXiv:2410.24164)
  5. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion(2023-03,arXiv:2303.04137)
  6. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control(2023-07,arXiv:2307.15818)
  7. Latent Action Pretraining from Videos(LAPA,2024-10,arXiv:2410.11758)
  8. Genie: Generative Interactive Environments(2024-02,arXiv:2402.15391)
  9. Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers(HPT,2024-09,arXiv:2409.20537)
  10. ACT 项目页(Action Chunking with Transformers 官方说明与硬件文档)

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(十六):动作怎么进入模型——动作空间、离散化、分块与跨具身对齐
https://pinghaoyang.com.cn/articles/insights/posts/world-model-action-interface-part-16/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录