正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(十六):动作怎么进入模型——动作空间、离散化、分块与跨具身对齐
承接前十五篇:被反复引用、却从没正面讲过的那一层
前面十五篇把世界模型拆成了概念框架、四类技术路线、评测栈、部署工程、推理账本和一张预算地图。每一篇都会出现同一个符号:at。第一篇定义转移函数 zt+1=f(zt,at)(世界模型从零讲起(一)),第五篇讨论动作作为输出(第五篇),第八篇用动作序列做潜空间搜索(第八篇),第七篇讨论动作分块如何掩盖推理延迟(第七篇)。这个符号在不同的文章里承担了完全不同的语义,却始终没有被单独打开看过。
这篇把 at 打开。它要回答的是:一个动作在进入模型之前,要经过哪几道加工,每一道加工会损失什么、换来什么。 动作空间选关节角还是末端位姿,连续量还是离散 token,单步还是若干步一包,用哪一套归一化统计量,最后以什么形式并进条件——这些选择看起来是数据预处理层面的琐事,实际决定了模型能学多准、跨具身能不能迁移、推理延迟能不能压进控制周期。
这一篇仍然属于基础层:不引入新的模型架构,只把接口讲干净。讲完之后,前面十五篇里那些「动作作为条件」的段落才会有可落地的含义。它与具身智能的整体介绍有交叉但侧重不同:具身智能完全入门 只是把「离散动作」与「连续动作」作为 VLA 的两条路线一笔带过,这里要把动作表示本身逐道工序打开。
动作到底是什么:一个被低估的表示问题
机器人动作的物理层次
「动作」这个词在机器人学里有好几个层次,从底层到高层依次是:电机电流或力矩、关节位置与速度、末端执行器在笛卡尔空间中的位姿、以及更高层的任务语义(抓取、推、放置)。世界模型作为一个在观测空间或潜空间里做预测的模型,它接收的动作通常是中间两层之一。
分层来看,控制栈自上而下依次是任务规划、运动规划、控制器与执行器。世界模型做的是「给一个动作,预测世界会怎样」,所以它需要的是离散时间步上的控制指令序列,也就是控制器真正接收的那一层。再往下的力矩层与模型的关系不大——力矩到运动之间的映射由机器人的动力学与控制器决定,不属于世界模型要学的部分;再往上的任务语义又太稀疏,无法支撑逐步预测。这条边界很重要:世界模型学到的是「控制指令 → 观测变化」,而不是「电机电流 → 观测变化」。 所以换一台控制器参数不同的同型号机器人,动作的数值含义可能就变了,这是后面跨具身对齐难题的物理根源。
维度、单位与取值范围
一个动作向量的具体形态由机器人本体决定:
- 关节空间(joint space):每个自由度一个角度或位移。七自由度机械臂是 7 维,加上夹爪开合是 8 维。单位是弧度或米,取值范围由机械限位决定。
- 末端空间(cartesian / task space):三维位置加三维姿态,通常用位置 + 欧拉角或四元数表示,再加一维夹爪。数值单位是米与弧度,但姿态角的表示有歧义(欧拉角有万向锁,四元数有双覆盖 q 与 −q 等价)。
- 差分动作(delta):相对当前位姿的增量,而不是绝对目标。增量动作的好处是与当前状态解耦,坏处是误差会累积。
- 移动底盘:二维线速度与角速度,或者目标点坐标。维度与操作臂完全不同。
这些差异不是学术细节。一个在 7 维关节空间上训练的模型,无法直接接受 6 维末端位姿动作——维度不匹配是最硬的一道墙,比数值范围不匹配更难绕。 归一化可以统一数值范围,但没法把 7 维变成 8 维,也没法把「弧度」翻译成「米」。
动作的时序语义
还有一层容易忽略:动作的时间尺度。同一个数值序列,在不同控制频率下意义完全不同。10 Hz 的一条动作序列和 50 Hz 的同一条序列,虽然数值一样,前者描述的运动是后者的五倍快。因此任何动作表示的规范里都必须带上控制频率,或者干脆把频率吸收进「帧」的定义——很多数据集的做法是固定「每帧一个动作」,而帧率写进元数据。
这三件事——维度、数值语义、时间尺度——合起来构成一个动作的契约(contract)。世界模型要能工作,训练数据、模型接口、推理时的控制器三者必须遵守同一份契约;契约不一致时,模型不是「效果差一点」,而是会稳定地做出错误动作。
动作空间的选择:关节角、末端位姿与差分
三种常见空间各自的因果结构
选择动作空间,本质上是选择「模型要学哪一段因果链」。
在关节空间给出动作时,模型学到的是「关节怎么转 → 世界怎么变」。这段映射里混着两件事:机器人自身的正运动学(关节角到末端位姿的映射),以及环境中物体对末端运动的响应。前者是解析已知的,后者是模型真正该学的。模型从数据里同时学两者,意味着它会花容量去拟合一个本来可以解析计算的函数。
在末端空间给出动作时,因果链更短:「末端要去哪 → 物体怎么动」。正运动学这一段被控制器负责,不进入模型的学习负担。这在直觉上更「面向任务」,也让不同机械臂之间的差异被吞到控制器里——这是不少跨具身工作选择末端空间的主要原因之一,但它不是唯一选择:保留关节空间、用填充与掩码处理维度差异是另一条同样主流的路,后面会看到具体案例。
差分动作则是第三种选择:给相对位移,而不是绝对目标。它对当前状态的依赖更弱,同一段轨迹可以从不同初态出发执行,数据利用率更高。代价是长序列上误差会累积,末端可能漂移到目标外。
| 空间 | 维度 | 学到的是什么 | 主要缺点 |
|---|---|---|---|
| 关节空间 | 每自由度 1 维 + 夹爪 | 正运动学与物体响应混合 | 需为每种机械臂学一套运动学 |
| 末端空间(绝对) | 位置 3 + 姿态 3/4 + 夹爪 | 任务空间的运动意图 | 绝对姿态表示有歧义 |
| 末端空间(差分) | 同上 | 相对当前状态的增量 | 长序列误差累积 |
| 移动底盘 | 线速度 + 角速度 | 基座运动 | 与操作臂维度完全不同 |
姿态表示的歧义为什么重要
末端姿态可以用欧拉角、轴角、旋转矩阵或四元数表示。每一种都有需要处理的问题:
- 欧拉角:三维旋转的最小参数化,但存在万向锁,且同样的旋转在不同参数化下相差 π 的跳变,会让模型在边界处学到不连续的映射。
- 旋转矩阵:9 个数,冗余 3 维,但连续、无奇异;代价是训练时网络输出必须被投影回 SO(3),通常用奇异值分解或 Gram-Schmidt 正交化。
- 四元数:4 个数,有双覆盖——q 与 −q 表示同一个旋转。这造成一个隐蔽的问题:两个物理上几乎相同的姿态,参数空间里可能离得很远。训练时常用的做法是在比较前后强制取同半球(点积为负则取负),但预测端仍然会时不时吐出「等价却远处」的四元数。
这个细节经常被忽略,却直接影响模型的质量。比如一个世界模型在潜空间里比较预测动作与真实动作的误差,若不做半球对齐,它的训练信号就会被四元数的符号任意性污染。
夹爪与离散量的混编
真实的机器人动作往往是连续的(关节、位姿)与离散的(夹爪开合)混在一起。把夹爪当作连续量处理会引入不自然的中间值;把它离散成二值又破坏了与连续维度的联合分布。常见折中是把它当作连续量归一化到 [−1,1] 后用阈值二值化,或者在 token 化时保留它的二值性质单独编码。这也解释了为什么动作 token 化不像文本那么容易:一个动作向量内部本就混合了不同性质的量。
归一化:不处理它,世界模型会稳定地学错
为什么归一化是硬需求
不同维度的动作数值范围差异巨大:关节角可能是 [−3,3] 弧度,夹爪只有 [0,1],底盘线速度可能是 [0,1.5] 米/秒,而末端位置的范围还可能随工作空间变化。直接在网络里用这些原始数值,会让几维主导梯度和损失,其余维度几乎学不动。
标准的做法是按维度计算均值 μj 与标准差 σj,做
a~j=σjaj−μj其中 aj 是第 j 维动作的原始值,μj 与 σj 来自训练数据的统计量。训练时网络看到的、损失计算的都是 a~j;部署时控制器拿到的输出要反归一化回去:
aj=σja~j+μj分位数归一化:为什么用分位数而不是均值方差
均值-标准差统计有天然的脆弱性:一个离群的动作样本就能把 σj 拉大,让其余样本被压在非常窄的范围里。机器人数据里这种离群点极其常见——遥操作手抖一下、碰撞后失控的指令、某次录制设备异常。用全量统计量,一个坏样本会让整维动作几乎失真。
一个更稳健的替代是按分位数归一化:取训练集每一维的 1% 分位数 qjlow 与 99% 分位数 qjhigh,把区间 [qjlow,qjhigh] 映射到 [−1,1]:
a~j=qjhigh−qjlow2(aj−qjlow)−1超出区间的值会被截断。分位数只关心排名,不关心数值本身,所以单个离群点最多贡献一行,不会改变 ±1 的边界。这也是很多 VLA 训练配置里实际采用的做法。
归一化统计量从哪来:这是一个部署问题
更隐蔽的一点是:μj、σj 或分位数,是从哪个数据集算出来的。 如果统计量来自训练集,而推理时的状态分布不同(换了场地、不同光照下的动作分布、操作不同尺寸的物体),反归一化的输出就会系统性地偏掉。
这不是理论担忧。同一策略在不同部署场景里的成功率差异,很大一部分来自统计量的错配,而不是模型本身的泛化能力。工程上的常见处理有三条:
- 把统计量与模型权重一起打包,部署时不依赖外部配置;
- 用少量现场数据重新校准归一化参数,只微调统计量而不动权重;
- 用自适应层归一化之类的结构,让网络在运行时自己调整输出分布。
第二条尤其重要:它意味着部署时「微调」的对象可能只是几个统计数字,而不需要梯度下降。这与第七篇拆解延迟预算时归到 δpre 那一项的归一化是同一条线索——归一化不只是预处理,它把训练与部署绑在同一组统计量上,统计量一旦漂移,误差就会跟着动作一起进闭环。
离散化:把连续动作变成 token
为什么要离散化
基于 Transformer 的世界模型与 VLA 模型,输出通常以 token 为单位。连续动作要进 Transformer,有两条路:要么在模型外部接一个连续输出头(例如扩散头、流匹配头),要么把动作变成一串离散 token,用标准的语言模型式交叉熵来训练和生成。
后一条路对世界模型非常有吸引力:它让「预测动作」和「预测观测 token」之间共用同一套自回归机制,模型可以把动作当成另一种语言来学。Genie 这类可交互世界模型里,离散动作是用户控制的输入;DreamerV3 用离散潜变量做预测;更一般的 VLA 里,离散动作 token 让模型可以复用大规模预训练语言模型的结构。
最朴素的做法与它的失败
最直接的做法是逐维量化:每一维 aj 用 K 个 bin 的量化器映射成整数,再查表成 token。这条路线由 RT-2(2023-07,arXiv:2307.15818)大规模验证过:它把每个动作维度独立离散成 256 个 bin,让动作预测变成语言模型词表上的普通分类问题。在维度少、动作平滑时这种做法能用,但在真实机器人动作上问题很多。

这张图来自 FAST 论文,是一个精心设计的教学性实验:让一个小自回归 Transformer 在一个插值任务上学习复现一条曲线,只改变底层信号的采样频率。结论与直觉相反——用先前 VLA 常用的分箱量化时,采样频率越高,预测质量反而越差。 原因是频率升高后,相邻时间步的 token 高度相关,模型要在逐 token 的条件下重建快速变化的细节,而分箱量化把动作拆成了彼此独立的整数,等于把时序结构从表示里抹掉了。FAST 的频域 tokenization 在同一组实验里对各档采样率都保持稳定,这正是它相对分箱量化的核心优势。
这个结果解释了一个常见的工程误区:以为「动作序列砍短、token 变少」就是省成本的好事。token 变少的代价是每个 token 要承载更长的时间跨度,模型必须在 token 之间自己补出高频细节;而高频细节恰恰是自回归生成最不擅长的部分。压缩应该在频域做(保留低频、丢弃噪声级的抖动),而不是在时间轴上粗暴抽样。
为什么逐维量化会失败?根源在于高频、高精度的微小抖动分布在多维度组合里。一个 7 维动作,每维 256 个 bin,理论组合空间极大。自回归模型在生成时,每一维的误差会叠加到下一维的条件里,形成误差放大。此外,单纯量化不会利用「相邻时间步的动作是连贯的」这一结构信息——每个 token 都是独立的数值,模型要从头学会时序连续性。
频域 tokenizer:DCT 加 BPE
FAST 论文给了一条不同的思路:先用离散余弦变换(DCT)把动作时间序列变换到频域,只保留低频成分做压缩,然后对剩余系数做量化并组织成 token 序列。

这张图同样来自 FAST 论文(图 2)。左半边是机制:动作轨迹被压缩成一串 token,自回归 Transformer 只要做「预测下一个 token」,无需额外的输出头,这个框架与语言模型的结构完全对齐,所以能直接接到已有的 LLM 骨架上。右半边是证据:横轴是数据的控制频率,纵轴是分数,曲线对比 FAST 与 OpenVLA 式分箱量化。图想说明的正好是这里讨论的问题——分箱量化在高频数据上明显吃紧,FAST 的优势主要体现在控制频率越高的时候。原因与前面分析的逐维量化失效机理一致:频率越高,相邻 token 之间的相关性越强、高频细节越多,而逐维分箱无法利用时序结构,FAST 的频域压缩恰好把时序结构显式编码进了 token。
为什么 DCT 合适?机器人动作的时间序列有两个特征:一是大部分信号能量集中在低频(任务级的运动是缓慢的),二是高频分量主要是传感器噪声与遥操作的抖动。DCT 把这两个部分在频域上分开,去掉高频就等于在几乎不损失任务信息的前提下压缩了序列长度。这比「每隔几步抽样一个动作」多保留了什么?前者保留了整体运动走势(低频),后者是把时序结构整个丢掉。
但 FAST 也遇到一个难题:不同机器人的动作尺度差很大。同一套 tokenizer 要能对一台慢速双臂和一台快速单臂都给出细粒度表示,而 DCT 系数的分布差异会让量化器的 bin 边界失去意义。它在 DCT 之前插入了归一化:按每一维在训练集上的 1% 与 99% 分位数,把取值映射到 [−1,1]。这一步与前面讲的归一化是同一件事,但在这里承担了双重作用——既把数值压进固定区间,也让不同本体的动作尺度被拉齐,使 DCT 系数落在可比的范围内。正因为归一化先做掉了尺度差异,后面的量化器只需要关心「形状」,不需要为每种机器人准备一套 bin 边界。
动作 token 词表与词表浪费
把动作离散成 token 后,还有一个容易被低估的问题:词表利用率。如果在通用语言模型词表之上额外添加动作 token,或者设计一个独立的动作词表,实际训练中常用的 token 可能只占一个很小的子集。剩下的 token 在训练里几乎不见到,模型对它们的预测基本是噪声。
这个问题直接影响生成质量。解码时模型在每一步的候选集里做 softmax,大量从未有效训练过的 token 会稀释概率质量,让输出的动作串更容易出「非法 token」。一些实现的做法是:统计训练集的动作 token 分布,裁剪掉几乎不出现的 token,缩小词表,再把动作 token 与语言 token 分开处理,让动作生成和文本生成有不同的采样策略。
动作分块:一次预测多步,为什么这几乎是必选项
高频单步预测的病:误差自回归
如果一个模型每步只预测一个动作,然后立刻执行、再观测、再预测,会陷入一个系统性问题:一次小误差会被下一次的条件放大。 这是自回归生成的通病,在控制闭环里尤其致命——模型预测的动作稍微偏了一点,执行后环境状态偏了一点,下一个观测就带着这个偏差,模型再基于偏差给出动作,偏差逐级累积,最终表现为「任务做一半就走偏了」。
对世界模型尤其如此:世界模型要利用自己预测出的潜状态继续向前推演,而潜状态的误差不会被真实的观测纠正(在训练时,真实观测可以纠正,部署时的规划阶段则不会)。这也解释了为什么第八篇讲潜空间规划时,规划视界必须保持很短——长视界会把复合误差放大到不可用。
ACT:动作分块(action chunking)的提出
一个直接而有效的干预来自 ACT(Action Chunking with Transformers,2023,Stanford,论文题为 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware)。这篇论文原本解决的是低成本双臂遥操作系统的细粒度操作问题——ALOHA 硬件。它的核心贡献之一是动作分块:
- 不是每一步预测一个动作,而是一次性预测未来 k 步的动作块;
- 执行时把整个块开环执行(或在执行中根据新的观测重新生成下一块);
- 下一块开始前,重新观测并重新生成。
这样做的直觉是:模型每次生成一个块,块内的动作是联合预测的,所以块内不会出现逐级累积;块与块之间用真实观测重新对齐,把误差「重置」在块边界。此外,一次前向生成 k 步动作,让模型调用频率降低到原来的 1/k,这对推理延迟是极大的收益——单次前向只要在「执行一块的时间」内完成就行。

这张图是 ACT 论文的分块消融实验:两个基线(BC-ConvMLP 与 VINN)各自加上动作分块,横轴是块长 k,图中取了 1、10、100、200、400 这几档,纵轴是成功率,k=1 就等价于不分块。图中还区分了完全闭环与完全开环两种执行方式,对应「每个控制周期都重新观测」与「整块执行完再观测」两端。
能从这张图读出的最直接结论是:给基线加上分块之后,成功率相对 k=1 有明显提升;而块长继续增大时,收益不是线性增长的,而是趋于饱和,并开始受执行方式的影响。这与前面的机制解释一致——分块的主要收益来自「把误差重置在块边界」与「降低推理频率」,而块太长会让块内执行失去观测反馈,开环与闭环的差别就在这一段被放大。
这条曲线是理解动作分块最好的入口。它把「为什么几乎所有现代 VLA 和世界模型都做分块」变成了一个可测量的权衡:块长是一个超参数,受任务的速度、环境的可预测性、以及模型的推理延迟共同决定。
块长怎么选
块长的选择不是拍脑袋。实践中考虑三件事:
- 推理延迟:一次前向生成一个块需要的时间 Tgen,必须小于执行一个块的时间 Texec=k⋅Δt,其中 Δt 是控制周期。否则闭环就会被卡住。这给块长一个下界。
- 环境变化速度:如果环境在几百毫秒内就发生显著变化,块就不能太长。这给块长一个上界。
- 模型的块内一致性:模型能否生成「块长越长质量不下降」的动作,取决于它对多步联合分布的建模能力。
下界可以写成一条不等式:
k≥ΔtTgen式中的 k 是块长(每个块包含的动作步数),Tgen 是模型生成一个块的单次前向耗时,Δt 是控制周期。这个下界的经济含义很直接:块长必须大到让「生成一块的时间」被「执行一块的时间」覆盖,否则每一块都来不及在下一次观测到来之前算完,闭环周期被迫拉长。
这三个约束的交集决定了可用的块长。也正因为块长要满足这些约束,现代工作会在不同场景下用不同的块长,或者设计一种自适应的块长——第五篇讲的自适应想象,本质上就是在「块长之外再加一层时间尺度」。
块之间的缝:重叠与重新规划
单纯按块切开会产生边界问题:块 i 的最后一个动作与块 i+1 的第一个动作可能来自两次独立推理,中间没有连续性保障。两种常见处理方式:
- 重叠执行:下一个块的开头几个动作与上一个块的末尾重叠,执行时用平滑插值把两者混合,消除跳变。
- 随观测重新规划:每到一个块边界就根据最新观测重算整块,这牺牲了部分块内收益,但保证状态一致。
第七篇讨论异步执行时已经分析过「动作分块之间的缝怎么补」,这里给出动作表示侧的解释:块边界的连续性由两点决定——模型输出的块内是否连续、以及块与块之间的拼接策略。前者是模型训练时通过「整块同时输出」自然获得的(块内动作共享同一套自回归条件,天然更连贯);后者是运行时工程。
动作如何进入模型:条件注入的两种形态
动作 token 拼接
对于纯 Transformer 的 VLA 或世界模型,动作进入的方式通常是 token 拼接:把动作 token 按时间顺序排在观测 token 之后,然后用注意力把它们和观测 token 关联。这种形态下,动作 token 与文本 token、图像 token 处于同一个序列里,模型用统一的注意力来处理所有模态。

这张图来自 OpenVLA(2024-06)。它的结构说明了一个重要的设计:视觉特征先经过投影层进入语言模型的 token 空间,动作则被离散化成 token,和文本一起由语言模型的输出头解码。图中的关键信息是,图像与语言在输入侧被对齐到同一 token 空间,而动作在输出侧也以 token 形式产生——整个模型从头到尾都是「token 进、token 出」。这正是前面讨论的离散化路线的直接体现。
这个结构的好处是动作生成可以完全复用语言模型的自回归习惯,不需要额外的输出头;坏处是离散化带来的精度问题,以及前面提到的词表浪费。OpenVLA 的量化细节值得单独记一笔:每一维单独量化成 256 个 bin,而 bin 的宽度不是铺满全量程,而是均匀划分训练集上第 1 到第 99 百分位之间的区间。论文明确说明这样做的理由——用分位数可以忽略离群动作,否则少数异常值会把量化区间撑大,有效分辨率随之下降。这与前面归一化一节的分位数做法是同一个动机,只是用在量化器上。
连续条件:扩散头与流匹配头
另一条路是把动作作为连续信号注入。常见形式有两种:
- 扩散头:在语言模型的输出上接一个小型扩散模型,让它从噪声中去噪出连续的动作向量。这条思路直接来自 Diffusion Policy(2023-03,arXiv:2303.04137),它把策略建模成对动作序列的条件扩散过程,再在 VLA 上延伸成输出头。
- 流匹配头:用一个连续流把噪声映射到动作,比扩散更少步,生成更快。

这张图来自 π0(2024-10,Physical Intelligence)。π0 的价值在于它把流匹配头应用于大规模多机器人数据,并明确处理了一个跨本体的前提问题:不同机器人的动作维度和语义不同,模型必须在一个统一的动作空间里训练。 图中的机器人涵盖单臂、双臂、不同自由度、移动平台,动作维度从 7 维(单臂 UR5e)到 17 维(双臂 + 全向底盘)不等。π0 的选择与直觉相反:它没有统一到末端空间,而是保留关节角动作,把每个本体的动作向量零填充到统一的 18 维,再对缺失维度做掩码;图像数量不足三个的机器人同样用掩码补齐。这恰好是前面列出的第二条路线——逐维独立编码加掩码——的真实案例,而不是末端空间统一。它保留关节空间的全部信息(包括冗余自由度),代价是序列更长、模型必须学会哪些维度组合是合法的。
两种形态的取舍
| 形态 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 动作 token 拼接 | 结构简单,复用 LLM 解码机制;观测与动作共用自回归 | 离散化精度损失;词表浪费;长动作串误差放大 | 通用 VLA;需要输出语言的地方 |
| 连续头(扩散/流匹配) | 连续精度高;天然支持多模态动作分布;与动作分块配合好 | 额外组件与训练参数;生成需多步去噪 | 精细操作;对精度要求高的场景 |
这里的取舍与第三篇里 JEPA 的讨论是同构的:离散量适合「复用语言模型的能力」,连续量适合「表达连续物理世界」。真实系统的常见做法是两段式——动作块由连续头生成,而世界模型的观测预测仍是离散 token,两者在不同模块里共存。
回到控制栈那条纵向的分层:世界模型输出的动作要落到控制器上,才能真正变成运动。这个衔接点正是所有归一化、维度、频率约定的最终检验处——模型输出的动作向量若不能通过控制器的契约校验,模型再准也无法执行。
跨具身对齐:三面墙与三种绕过方式
跨具身是世界模型与 VLA 最常被提到的话题,但讨论往往停在「数据更多了」的层面。真正决定能否迁移的是接口层的三面墙。第五篇已经详细分析过数据经济学与 LAPA、MetaWAM 这类工作,这里只补齐动作表示侧的机制,避免重复。
第一面墙:维度不一致
不同机器人的自由度不同。七自由度机械臂、六自由度机械臂、双臂、移动平台,动作向量长度都不一样。这面墙最硬,因为任何固定的输入层都无法直接吃不同长度的向量。
三种常见绕过方式:
- 统一到末端空间。把每个本体的动作都映射成「末端位姿增量 + 夹爪」,得到一个维度固定的模板。OpenVLA 走的是这条路:它的训练数据被限制为单臂末端控制,动作是 7 维。代价是丢掉关节空间的冗余自由度信息——某些任务需要特定的关节构型才能完成(避障、奇异位形规避),而末端空间表达不了。
- 逐维独立编码 + 掩码。给每一维分配一个独立的编码器与 token,缺失的维度用掩码标记。π0 走的是这条路:保留关节角动作,把不同本体的动作零填充到统一的 18 维,缺失维度与缺失相机一样打掩码。优点是不丢信息,缺点是序列变长、注意力计算量上升,且模型必须学会「哪些维度组合是合法的」。
- 按本体分组建模。为每个本体训练一个适配层(adapter),共享主干。HPT(Heterogeneous Pre-trained Transformers,2024-09)是这条路的代表:它为不同本体分别对齐本体感知与视觉输入,压成一段短 token 序列,再由一个共享主干处理,让主干学到「任务与本体无关」的共享表示。这是最工程化的方案,参数量随本体数增长,但每个适配层可以很小。
第二面墙:数值语义不一致
即使维度一致,同一个数字在不同机器人上意义也不同。同样是「末端向前的位移 0.1」,对一台小型桌面臂与一台大型工业臂,速度与可达范围完全不同。更隐蔽的是控制器层面的差异:同一型号的机器人,若关节零位标定、减速比、控制增益不同,相同的关节指令会产生不同的实际运动。
这面墙的实质是:动作的语义绑定在「本体 + 控制器 + 标定」的三元组上,而不是绑定在型号上。 所以统一动作空间只是必要条件,不是充分条件。工程上常见的补丁有两个:一是对动作做最大幅度归一化(把绝对尺度吸收掉,只保留相对形状),这与 FAST 在 DCT 之前按分位数做的归一化是同一种思路;二是在部署时做在线标定,用少量数据估计当前本体与训练本体的动作映射偏差,把它作为一个可学习的偏置。
第三面墙:时序与频率不一致
不同数据集的采集频率不同。一个 10 Hz 的遥操作数据集与一个 30 Hz 的机器人数据集混合训练,如果不做时间对齐,模型会看到「同样的数值代表不同的运动速度」的混乱。标准的处理是把所有数据重采样到统一频率,代价是高频数据被降采样后损失细节,或者低频数据被插值后引入虚假的平滑。
更麻烦的是动作延迟。真实系统的观测到动作之间有几毫秒到几十毫秒不等的延迟,不同本体延迟不同。如果训练数据没有标注延迟,模型学到的「动作 → 观测」映射里就混入了延迟,部署时会系统性地提前或滞后。这类问题在跨本体迁移时会放大,因为不同本体的延迟差异可能正好与模型学到的偏差同向叠加。
对齐的本质:把「本体的差异」放在哪一层
三种绕过方式背后是同一个决策:把本体的差异放在模型的哪一层吸收。 放在输入侧(统一到末端空间),意味着差异被提前消掉,模型看到的是同质的表示,代价是信息损失;放在模型内部(逐维编码与掩码),意味着差异被保留,模型自己学,代价是容量与计算;放在外部(每个本体一个适配层),意味着差异被隔离,主干保持通用,代价是工程复杂度。
这个决策没有普适答案,它取决于本体数量、数据量、以及任务对精度的要求。但有一点是确定的:先确定动作契约,再训练模型;而不是先训练模型,再想办法把数据接进去。 后者往往在训练后期才发现动作空间不一致,代价是重训。
一个完整的接口流水线:从原始数据到控制器
把前面各节串起来,一个动作从数据集里的原始记录到最终驱动执行器,要穿过一条有七八道工序的流水线。每一道工序都有参数,每一组参数都必须被记录并随模型一起发布,否则部署时无法复现训练时的数值语义。
- 对齐与重采样:把不同频率的原始轨迹重采样到统一控制频率,插值方式(线性、三次样条、零阶保持)决定高频细节的保留程度。这一步同时要处理时间戳漂移与掉帧。
- 空间转换:把关节或末端动作换算到目标空间。末端空间需要机器人的正运动学,从关节角与相机相对位置求出末端在机器人基坐标系下的位姿。
- 姿态规范:把姿态统一成同一表示(例如统一的四元数约定),并做半球对齐。
- 归一化:按维应用分位数或均值方差,得到 [−1,1] 或标准正态范围。
- 序列切块:按块长 k 切成动作块,每个块附带对应的观测上下文。
- 离散化或连续头:token 路线做量化与词表映射;连续路线保持浮点并交给去噪器。
- 编码接入模型:作为条件 token、作为连续条件的一部分、或者作为输出头。
- 反归一化与空间逆变换:模型输出经过逆流程还原成控制器能接受的关节或末端指令。
这条链路里最容易出错的是首尾两端。开头的前处理若在训练与推理时有两份不同代码实现,看似相同的数值会在舍入与边界处理上出现细微差异;结尾的逆变换若漏掉某一步(例如忘了把四元数的半球恢复一致,或者忘了把归一化统计量乘回去),输出会整体偏移。更隐蔽的是中间表示的版本不一致:训练时用的是旧版正运动学参数,部署时机器人换了标定,逆变换和正向变换不在同一坐标系下,模型输出的末端位姿会平移一个固定量。这类错误在回放校验里可能完全看不出问题,因为回放用的还是训练时的同一套参数。
一条务实的工程原则是:把整条流水线固化成一个版本化的「动作编解码器」,训练与部署共用同一份实现,并在每个块记录所用编解码器的版本号。这样当某个环节需要升级(比如改进插值方式、修正姿态约定),模型可以与旧编解码器组合继续跑,而不会被静默地破坏接口。
接口层在推理时付多少账
动作表示的选择也会改变推理开销,这一点在预算地图里没有单独列格,因为它被摊进了「想象步数」与「规划算力」两项。把账拆开看:
离散 token 生成长度。 一个 k 步、D 维的动作块,若逐维量化,token 数是 k⋅D。k=50、D=7 就是 350 个 token,每个都要走一次 KV 缓存 append 与前向。改成 FAST 那种压缩 tokenizer 之后,token 数大约只与时间序列的「低频自由度」成正比,通常能降到一个数量级以下。
连续头的去噪步数。 流匹配头的生成步数通常远小于扩散头,但仍然是多步前向。一个块由连续头生成时,每一步都要在动作维度上做一次小规模前向,Nstep 乘以块内维度。这部分的成本与块长耦合:块越长,单次去噪要覆盖的维度越大。这也是动作分块与连续头天然配套的原因——块长让「一次去噪换取多步执行」成为可能。
词表大小对输出的影响。 前面提到的词表浪费不是纯训练问题。解码时每一步的 softmax 与采样都作用在整个词表上,词表越大,单步开销越高,而且无效候选会稀释质量。裁剪动作词表在推理侧是直接的降本项。
把这三项放回第八篇的规划账本,以及第十五篇那张预算地图里,可以得到一个判断:动作表示的优化,对推理成本的影响甚至大于世界模型主干结构的优化。 主干少一层可能只省几个百分点,而把动作 token 从 350 降到几十、把去噪步数砍掉一半,节省的是整体延迟的一大块。原因在于动作序列的 token 数经常比想象中更占主导——世界模型一次要 rollout 的步数可以很少,而动作块一次就要几十个 token。
几个反复出现的工程坑
动作重复与帧跳
很多真实系统的控制器支持「动作重复」:同一个指令保持若干个控制周期再更新。这等价于把动作频率降低 r 倍,但它在数据里表现为「连续 r 个相同的数值」。如果预处理时把它当成正常的连续轨迹做归一化与统计,模型会学到大量零差分的片段,从而倾向于输出静止动作——在长视界上表现为「动作迟滞」。
处理方式有两种:要么在预处理时把重复段压缩掉并记录重复次数,让模型显式地看到「这是一次重复」;要么保留重复但在损失里降权,避免静止片段主导梯度。前者更干净,代价是序列长度变化,块长的切分也要相应调整。
绝对指令与相对指令混用
同一个块里混用绝对与相对动作是常见错误。绝对动作告诉模型「目标在哪」,相对动作告诉模型「怎么走」;两者在数值分布与语义上完全不同。混用时模型会在两种模式之间摇摆,输出的动作在块内可能前半段是绝对、后半段是相对,导致执行器抖动。
解决办法是在动作向量里显式保留一个「模式位」,或者干脆在训练时按模式分组,让每个块只包含同一种模式。
观测延迟与动作延迟的错位
如果训练数据里观测与动作的时间戳没有严格对齐,模型学到的映射会带上一个固定延迟。部署时若这个延迟与真实链路的延迟方向一致,误差被放大;方向相反,则被抵消。跨本体迁移时,这种错位尤其难排查,因为它不会表现为「完全不会做」,而是表现为「动作慢半拍」或「提前量过大」。
工程上的验证方法是做一次开环重放:固定一组历史观测与动作,用模型逐块预测,然后把预测的动作序列与真实记录的动作序列对齐比较,观察是否整体平移。若存在平移,说明训练数据的对齐有问题,而非模型能力不足。
块边界处的模式跳变
前面提到块内动作因为共享条件而更连贯。但块与块之间的拼接若不处理,会出现「上一块以低速结束、下一块以高速开始」的跳变。这在接触密集的任务(插拔、装配)里会被放大,因为接触力对速度突变极其敏感。除了重叠执行与平滑插值,另一种做法是让模型在生成新块时把「上一块的末尾几个动作」作为上下文的一部分,让输出在条件上就与上一块连续。
小结
动作不是「模型外面顺手接上的一个向量」,它是一份需要显式定义的契约,包含四件事:空间(关节还是末端)、维度与数值语义、时间尺度与频率、以及表示形态(连续还是离散)。
沿着这条契约链,本文把几道加工逐一拆开:
- 动作空间的选取决定了模型学习哪一段因果链。末端空间把机械臂本身的运动学推给控制器,代价是丢失关节冗余;姿态表示(欧拉角、旋转矩阵、四元数)各自的歧义会污染训练信号;夹爪这类离散量与连续量混编需要单独处理。
- 归一化不是可选预处理。均值-方差统计对离群点脆弱,分位数归一化更稳健;统计量本身是部署契约的一部分,错配会导致系统性的动作偏差。
- 离散化把动作变成 token,让模型复用语言模型的自回归机制,但朴素逐维量化在高维、高频动作上失效;频域压缩(DCT 加 BPE,FAST 路线)在分位数归一化之上是目前更稳的做法;词表浪费是常被低估的工程问题。
- 动作分块(ACT 路线)把误差累积截断在块边界,并把推理频率降到 1/k;块长受推理延迟与环境变化速度双向约束。这条曲线的消融实验是理解「为什么现代系统都做分块」最直接的证据。
- 动作进入模型有 token 拼接与连续头两种形态,分别对应「复用 LLM 能力」与「表达连续物理世界」两种取向;OpenVLA(离散动作 token)与 π0(流匹配动作头)是两种取向的代表。
- 跨具身对齐本质上是一个决策:把本体的差异放在输入侧消掉、放在模型内部学、还是放在外部隔离。顺序必须是「先定契约,再训练」,反过来会付出重训的代价。
这一层看起来细碎,但它决定了前面十五篇的所有结构能否真正在生产里落地——一个结构再好的世界模型,如果动作契约没对齐,它的输出就是一组无法执行的数字。概念、路线、评测、规划、系统、能耗、预算都讲过之后,剩下的正是「这些模型手里的动作到底是什么」;把它讲清楚,前面十五篇里所有关于 at 的公式与账本才落在同一份契约上。
参考资料
- Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(ACT,2023-04,arXiv:2304.13705)
- OpenVLA: An Open-Source Vision-Language-Action Model(2024-06,arXiv:2406.09246)
- FAST: Efficient Action Tokenization for Vision-Language-Action Models(2025-01,arXiv:2501.09747)
- π0: A Vision-Language-Action Flow Model for General Robot Control(2024-10,arXiv:2410.24164)
- Diffusion Policy: Visuomotor Policy Learning via Action Diffusion(2023-03,arXiv:2303.04137)
- RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control(2023-07,arXiv:2307.15818)
- Latent Action Pretraining from Videos(LAPA,2024-10,arXiv:2410.11758)
- Genie: Generative Interactive Environments(2024-02,arXiv:2402.15391)
- Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers(HPT,2024-09,arXiv:2409.20537)
- ACT 项目页(Action Chunking with Transformers 官方说明与硬件文档)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



