世界模型从零讲起(四十五):形状被改写之后——形变场、参考形状重建与一个会变的形状状态

10634 字
53 分钟
世界模型从零讲起(四十五):形状被改写之后——形变场、参考形状重建与一个会变的形状状态

上一篇《软物体不会一直原样》把软物体的形变拆成三个必须由模型自己积分的隐藏状态——塑性应变、损伤与寿命消耗——并指出材料参数是慢变量。那一篇停在「状态」这一层:模型知道形状回不去了,也知道刚度在变,但没有回答一个更基本的问题——形状本身该怎么记?塑性应变是一个场,不是一个数;参考形状一旦被改写,原先用来对齐观测的那套坐标系就失效了。这一篇讨论塑性之后接踵而来的几何问题。

先定位:这一篇在系列里的位置

形状问题在这个系列里出现过不止一次,但每次都是为了别的事情顺便处理。(三十三)讨论多粒度抽象时,用「抽象误差」衡量粗粒度模型与细粒度模型之间的差距,那时形状被当成一个固定几何,只是被不同的分辨率表示;(三十九)把物理属性分成状态量、慢变量、常量先验与导出量,几何也在其中,但默认观测到的几何就是物体当前的几何;(四十四)把塑性应变引入为隐藏状态,明确说「参考形状被改写」,然后把这个问题留给了下一篇。

留在这里的问题可以拆成三层,这一篇按这三层展开:

  1. 表示层:一个发生了塑性变形的物体,它的形状要怎么存?存网格顶点坐标、存体素、存一组高斯、还是存一个从「原始形状」到「当前形状」的映射函数?每种表示在推理时的读写成本、可微性、和物理引擎对接的难度都不一样。
  2. 推断层:机器人每次看到的是变形之后的表面。要从观测里把形变场反推出来,这一步在经典图形学里叫非刚性配准,在具身智能的语境里则变成了「物体现在是什么形状」这个估计问题。
  3. 维护层:形状不是估一次就完事。经过一次抓取、一次按压,物体的参考形状又变了。世界模型的形状状态需要被持续更新,而且更新时还要和上一节引入的塑性应变、损伤状态保持一致——不能出现「几何上变形了,塑性应变却记着零」这种内部矛盾。

三层是递进的:表示决定了能估计什么,估计决定能维护什么,维护又反过来要求表示支持增量改写。

表示层:形状有几种存法

从「顶点」到「映射」

传统做法是存网格:一组顶点 V∈RN×3V\in\mathbb{R}^{N\times 3} 加一组面 FF。弹性物体这样存没问题:一个参考网格配一个形变后的网格,两份数据之间是顶点一一对应的。塑性物体让这个存法立刻失效,原因是拓扑会变。

被压扁的橡皮泥边缘会挤出新的褶皱,被拉伸的硅胶管直径会变细——顶点的对应关系还在,但采样密度不再合适:原本均匀分布在表面上的顶点,在大变形区域被拉稀疏,细节丢失;想补顶点,就要重新三角化,而重新三角化会改变顶点编号,把所有依赖编号的量(塑性应变、应力、上一帧的位置)全部打乱。对世界模型来说,最致命的是:一旦顶点编号变了,沿时间的误差账本就无法延续,上一帧学到的东西下一帧没法复用。

所以一个能支持塑性的形状表示,本质上不是在存「一组点」,而是在存一个映射:

Φ:Ωref×Θ→R3\Phi: \Omega_{\text{ref}} \times \Theta \to \mathbb{R}^3

其中 Ωref\Omega_{\text{ref}} 是参考形状占据的空间区域(一个固定的坐标系或固定的采样点集),Θ\Theta 是描述这个映射的参数(一组控制点、一张隐式网络、一组网格顶点各自的小变换等),输出是当前时刻物体在某点上的位置。参考空间固定不变,映射随时间和操作变化,形变的历史就记在映射的参数里,不在点集本身。

这个视角的优点是,无论怎么变形,参考空间的点编号都不变,任何定义在参考空间上的量——塑性应变、损伤、温度、颜色——都可以像纹理一样「随形状走」,不会因为表面被拉伸而丢失对应关系。

四类具体表示与它们的推理成本

下面把常用的四类表示列出来,逐一说明它们怎么表达形变、推理时的成本和代价。

格点嵌入形变(embedded deformation graph)是这类表示中最经典的一种。它由 Sumner、Schmid 与 Fearing 在 2007 年的 SIGGRAPH 论文《Embedded Deformation for Shape Manipulation》中提出:在物体内部或附近撒一组控制点(节点),每个节点带一个仿射变换 (Aj,tj)(A_j, t_j),任意一个物体上的点 pp 受到附近若干节点的影响:

Φ(p)=∑j∈N(p)wj(p) (Aj (p−gj)+gj+tj)\Phi(p)=\sum_{j\in\mathcal{N}(p)} w_j(p)\,(A_j\,(p - g_j)+g_j+t_j)

这里 gjg_j 是第 jj 个节点的参考位置,Aj∈R3×3A_j\in\mathbb{R}^{3\times3} 是该节点附近的局部形变(旋转、拉伸、剪切叠在一起),tjt_j 是平移,wj(p)w_j(p) 是按距离衰减、归一化后的权重。这个形式的巧妙之处在于:形变参数是每个节点的一个 3×33\times3 矩阵与一个向量,与顶点数无关。一张一万顶点的网格,用两百个节点就能大致描述,采样点怎么改都不需要改参数。

推理成本是:对每个需要求值的点,找出影响它的 kk 个节点(例如 k=4k=4),做 kk 次矩阵-向量乘法加权重求和。如果每个节点的影响半径是 rr,那么一次完整的形状求值大致是 O(Nk)O(Nk),NN 是采样点数、kk 是常数。它的弱点是表达能力有限:节点间的仿射插值只能描述局部很平滑的形变,遇到折痕、尖角、撕裂时要加密节点。

高斯变形是把上一类思想搬到 3D Gaussian Splatting 上。3D GS 把场景表示成一堆带位置、协方差、不透明度和球谐颜色的高斯;形变时,每个高斯的位置被一个映射函数拖动,协方差不直接改,而是由映射的雅可比矩阵推出来。PhysGaussian 在 2023 年底公开、2024 年发表于 CVPR 的论文中把这件事和连续介质力学绑在一起:每个高斯点带一个变形梯度 FpF_p,高斯在世界空间中的表示变成

Gp(x,t)=exp⁡(−12(x−Φ(Xp,t))T(FpApFpT)−1(x−Φ(Xp,t)))G_p(x,t) = \exp\left(-\frac{1}{2}(x - \Phi(X_p,t))^T (F_p A_p F_p^T)^{-1} (x - \Phi(X_p,t))\right)

其中 XpX_p 是高斯在参考(材料)空间中的中心,Φ(Xp,t)\Phi(X_p,t) 是它被物质点输送之后的世界位置,ApA_p 是参考空间里的协方差矩阵,FpF_p 是该高斯所在位置的变形梯度。FpApFpTF_p A_p F_p^T 的含义很直观:一个各向同性的小球被变形梯度拉伸之后,会变成一个椭球,椭球的形状就是参考协方差经过 FpF_p 的线性变换之后的结果。也就是说,高斯的「形状」和物体的「形变」是同一件事的两个侧面,一旦有了变形梯度,协方差更新是免费的。

推理成本:高斯渲染本身是逐像素 splat,成本与高斯数量成正比;形变本身在每个高斯上只多一次 3×33\times3 矩阵求值和一个位置更新,开销可以忽略。真正昂贵的是从物理积分得到 FpF_p,这一步依赖网格或粒子上的物理解算,见下一节。

PhysGaussian 的整体流程:材料点如何被连续介质力学驱动,再通过变形梯度改写高斯,最后渲染成新视角

上图是 PhysGaussian 的方法总览。左侧是参考空间里的高斯,中间是物理解算把材料点一步步送到新位置,右侧是渲染结果。中间那一列的箭头说明了关键的一步:高斯的位置和协方差都不是模型直接「猜」出来的,而是从物理量(位移场与变形梯度)推出来的。这决定了这类系统里形状的正确性来自物理而不是视觉——视觉只负责把它渲染得好看。

隐式形变场用一个小型 MLP 或注意力网络表示 Φ\Phi,输入是参考坐标与时间,输出当前坐标,有时附带局部的旋转或缩放。D-NeRF 在 2020 年把这种思路用在动态 NeRF 上:一个从参考姿态到目标姿态的残差形变场,让静态 NeRF 表现动态。它的好处是表达力最强、参数连续、处处可微,坏处是推理成本:每求值一次形状要过一次前向,如果渲染需要很多采样点,这个成本会主导整个管线。对世界模型来说,还有一个更隐蔽的问题:形变场没有物理含义。一个 MLP 可以说它输出的是位移,但这个位移是否满足体积守恒、是否对应某个可积分的应力状态,是没人检查的。

粒子与体积网格是另一路:把物体表示成材料点(MPM,物质点法)或四面体网格,形状由这些点的当前配置给出。这个表示的推理成本最高(物理步进是主要瓶颈,见下一节),但它天然携带应变、应力、变形梯度这些二阶量,塑性本构可以直接写在这些点上。PhysGaussian 就选了这条路:外面披一层高斯做渲染,内部用 MPM 做物理,两者之间用变形梯度做桥。

物理层:形状为什么会变成现在这样

表示层只回答「形状怎么存」,不回答「形状为什么是这样」。世界模型如果只维护一个几何,它可以看起来对,但会很快失去预测能力:下一次按压时它不知道该往哪变形。(四十四)已经给出了塑性的状态方程,这一篇要把它接到几何上,中间的工具就是变形梯度。

变形梯度:从映射到几何量

给定映射 Φ\Phi,变形梯度是它对参考坐标的雅可比矩阵:

Fab=∂Φa∂Xb,a,b∈{1,2,3}F_{ab} = \frac{\partial \Phi_a}{\partial X_b}, \qquad a,b\in\{1,2,3\}

写成 3×3 矩阵就是 F=∇XΦF=\nabla_X\Phi。它的几何含义是:参考空间里一个无穷小线段 dXdX 被变形之后变成 dx=F dXdx = F\,dX。由此立刻得到两个常用的量:

  • 体积比 J=det⁡FJ=\det F:dV=J dXdV = J\,dX。流体不可压时 J=1J=1;软材料在塑性压缩后 J<1J<1。JJ 偏离 1 的程度就是体积变化的度量,也是约束求解(下一章)最重要的标量。
  • 旋转与拉伸的分解:对 FF 做极分解 F=RUF=RU,RR 是旋转、UU 是正定的拉伸。UU 的特征值就是三个主拉伸比。

塑性的核心机制可以在 FF 上表述成乘性分解。这一形式由 Lee 在 1969 年的《Elastic-Plastic Deformation at Finite Strains》中提出,Simo 在 1988 年把它整理成有限应变弹塑性的一致框架:

F=FeFpF = F^e F^p

参考空间先经过塑性部分 FpF^p 变成「中间构型」——一个松弛之后无应力状态的形状——再经过弹性部分 FeF^e 变成当前状态。上一节在(四十四)里写的 ε=εe+εp\varepsilon=\varepsilon^e+\varepsilon^p 是小应变的加性近似;到了大应变,只有乘性形式才是自洽的。

这个分解解释了为什么形状「回不去」:卸载时力学解算只会把 FeF^e 拉回单位阵,FpF^p 留在原地。新的参考形状就是「参考空间经过 FpF^p 之后」的构型。

MPM:把材料点带着一起走

有限元在四面体网格上解,网格本身就是几何,大变形网格会翻转、畸变,很难稳定。物质点法(MPM,Sulsky 等人在 1994 年提出)换了一种思路:把物体离散成材料点,点携带质量、体积、速度、变形梯度与塑性状态;每一步把点的量「铺」到一张固定的背景网格上,在网格上算力与积分,再把结果「收」回点上。变形梯度在每步中按下式更新:

Fn+1=(I+Δt ∇vn+1)FnF^{n+1} = \left(I + \Delta t\,\nabla v^{n+1}\right) F^{n}

其中 vv 是网格速度场,∇v\nabla v 是网格上的速度梯度。这条式子很朴素,却承担了物理层的全部记忆:变形梯度是唯一一个跨越步数持续累积的状态量,塑性应变、损伤、温度场都从它计算出来。

对世界模型来说,MPM 的吸引力在于:物理状态天然就定义在拉格朗日材料点上。材料点编号固定,粒子上挂着塑性应变、损伤与寿命消耗——这正是(四十四)里那三个隐藏状态。要维护它们,只需要在网格上做返回映射(Radial Return,Simo 与 Taylor 1985 年给出的经典算法):把试探应力拉回屈服面,同时更新 FpF^p。

形状状态的更新方程

把三层串起来,形状状态在每一步的更新可以写成:

Fpn+1=(I+Δt ∇vn+1)FpnFpe,tr=(I+Δt ∇vn+1)Fpe,nFpe,n+1=exp⁡ ⁣(Δγ ∂f∂τ)Fpe,trFpp,n+1=(Fpe,n+1)−1Fpn+1\begin{aligned} F_p^{n+1} &= \left(I + \Delta t\,\nabla v^{n+1}\right) F_p^{n} \\ F_p^{e,\text{tr}} &= \left(I + \Delta t\,\nabla v^{n+1}\right) F_p^{e,n} \\ F_p^{e,n+1} &= \exp\!\left(\Delta\gamma\,\frac{\partial f}{\partial\boldsymbol\tau}\right) F_p^{e,\text{tr}} \\ F_p^{p,n+1} &= \left(F_p^{e,n+1}\right)^{-1} F_p^{n+1} \end{aligned}

四行的含义分别是:

  • 第一行是 MPM 的变形梯度更新,∇vn+1\nabla v^{n+1} 是网格上的速度梯度,I+Δt ∇vI+\Delta t\,\nabla v 是这一小步的位移梯度。
  • 第二行只更新弹性部分,得到试探弹性变形 Fe,trF^{e,\text{tr}}。这一步的物理含义是「先假设这一步完全是弹性的」。
  • 第三行是返回映射:由试探应力判断是否越过屈服面,越过了就用塑性乘子 Δγ\Delta\gamma 把它拉回来。∂f/∂τ\partial f/\partial\boldsymbol\tau 是屈服函数对应力 τ\boldsymbol\tau 的梯度(流动方向),指数映射保证更新后的 FeF^{e} 仍在容许的变形空间里。Δγ\Delta\gamma 由一致性条件 f(Fe,n+1)=0f(F^{e,n+1})=0 解出,这就是 Simo 与 Hughes 在《Computational Inelasticity》里那套算法的核心。
  • 第四行把塑性部分从总变形里剥出来。它是整个流程的输出——它就是新的参考形状。注意它是 Fp,n+1=(Fe,n+1)−1Fn+1F^{p,n+1}=(F^{e,n+1})^{-1}F^{n+1} 而不是直接改写某个存储的网格,参考形状只在需要被查询时才由 FpF^p 重建。

如果材料近似不可压,返回映射之后还要做一次体积修正:把 det⁡Fp\det F^p 拉回 1,同时调整 FeF^e 以保持 F=FeFpF=F^eF^p 不变。这一步看似只是数值细节,实际上决定了塑性变形会不会凭空产生体积变化——面团被压扁时体积应该几乎不变,形状却变了很多,正是这一条约束在起作用。

无应力构型不是一个全局形状

乘性分解容易让人产生一个误解:既然 FpF^p 是参考形状的「新版本」,那是不是可以把物体切成小块、每块按 FpF^p 松弛,就能拼出一个无应力的整体形状?对一般的塑性变形,拼不起来。

原因是 FpF^p 是一个场,而不是一个映射的梯度。只有当存在一个全局映射 Φp\Phi^p 使得 Fp=∇XΦpF^p=\nabla_X\Phi^p 时,这个场才是「可相容的」(compatible),松弛后的小块才能无缝拼合。实际塑性变形几乎从不满足这个条件:把一根杆弯到塑性区再松手,内侧受压、外侧受拉,沿厚度方向 FpF^p 的分布是渐变的;如果按每个位置的 FpF^p 局部松弛,内侧块会变短、外侧块会变长,它们在界面处的长度对不上。这个「对不上」就是残余应力的来源——物体必须保留一部分弹性变形 FeF^e,才能让这些不匹配的块继续粘在一起。

用连续介质力学的语言,不相容性由 FpF^p 的旋度衡量(Nye 的张量形式),旋度不为零意味着这个场无法由单一映射生成,物理上对应残余应力(在晶体塑性里则对应几何必须位错)。对世界模型来说,这条性质有一个非常实际的推论:不能把形状状态存成一个「新的参考网格」就完事。参考网格只是当前构型的一种重建,它丢掉了 FpF^p 场里的不相容部分,也就是丢掉了残余应力。下一次操作时,模型就不知道物体内部已经「绷着劲」,预测的变形会偏软。

回弹(springback)是这件事最直观的后果。以理想弹塑性矩形梁的纯弯曲为例,梁厚 hh、屈服应变 εy\varepsilon_y,屈服曲率为

κy=2εyh\kappa_y = \frac{2\varepsilon_y}{h}

弯矩达到屈服弯矩 MyM_y 之后,理想塑性材料的弯矩不再增加,曲率却可以继续增大;卸载时弯矩从 MyM_y 降到零,曲率相应地减少

Δκ=MyEI=κy\Delta\kappa = \frac{M_y}{EI} = \kappa_y

于是最终曲率是 κf=κ0−κy\kappa_f=\kappa_0-\kappa_y,其中 κ0\kappa_0 是加载时的曲率。取 h=5 mmh=5\,\text{mm}、εy=2%\varepsilon_y=2\%,则 κy=8 m−1\kappa_y=8\,\text{m}^{-1},对应半径 12.5 cm12.5\,\text{cm};若加载到 κ0=20 m−1\kappa_0=20\,\text{m}^{-1}(半径 5 cm5\,\text{cm}),卸载后只剩 12 m−112\,\text{m}^{-1}(半径约 8.3 cm8.3\,\text{cm})。松手前后曲率减少了四成,弯曲半径从 5 cm 弹回到 8.3 cm,而视觉在松手前看到的只是 κ0\kappa_0 对应的弯度。这就是为什么「看到什么形状就记什么形状」会系统性高估塑性变形:它把马上要弹回去的那部分也记成了永久变形。

塑性写入的不可逆性

这个更新有一个重要的性质:FpF^p 只能单调地被「添加」,卸载不会让它回到单位阵。用信息论的说法,塑性是一个有方向、不可逆的写入过程,和(三十五)讨论过的在线更新(那种会随新数据改写旧结论的过程)截然不同。世界模型在维护形状时,必须把这两类更新分开记账,否则会出现「更新一次模型参数,把物体的塑性变形抹掉了」的荒谬情形。

物理层的推理成本

MPM 一步的主要成本在网格积分(P2G,点到网格)与力计算上,与材料点数成正比。用一个常见的估算:十万个材料点、网格尺寸 64³,一步 P2G 大约是每个点散射到 8 个网格单元(三线性权重),即八十万次原子加,力计算与 G2P 各类似量级。这个开销在 GPU 上能做,但放在「世界模型每一次 rollout 都要跑」的回路里,就成了主要瓶颈。

所以实际系统里,几何(高斯或网格)提供视觉上正确的形状,物理(MPM 或简化模型)只提供一阶的位移与大尺度的变形梯度。两者之间的一致性靠一层插值来维持:每个高斯点找离它最近的材料点,读那里的 FpF_p 与速度,再按第一节的公式更新自己的位置与协方差。这个插值层是 PhysGaussian 这类系统的关键工程细节,它的误差直接决定了渲染出来的物体是否「跟着物理走」。

推断层:从「看到的表面」回到「形变场」

非刚性配准的形式化

机器人在每一次视觉观测里拿到的,是一个变形之后物体的点云 Pobs⊂R3P_{obs}\subset\mathbb{R}^3(或一张深度图,或一组高斯)。要把它变成第一节那个映射的估计,等价于求解

Θ^=arg⁡min⁡Θ D(Pobs, ΦΘ(Ωref))+λ R(Θ)\hat{\Theta} = \arg\min_{\Theta}\ \mathcal{D}\big(P_{obs},\ \Phi_{\Theta}(\Omega_{\text{ref}})\big) + \lambda\,\mathcal{R}(\Theta)

其中 D\mathcal{D} 是数据项,衡量形变后的参考形状与观测的贴合程度,典型取法是最小化观测点到变形参考表面的平方距离:

D=∑q∈Pobsmin⁡X∈Ωref∥q−ΦΘ(X)∥2\mathcal{D} = \sum_{q\in P_{obs}} \min_{X\in\Omega_{\text{ref}}} \|q - \Phi_\Theta(X)\|^2

R\mathcal{R} 是正则项,控制形变的「合理性」:ArAp(as-rigid-as-possible,Sorkine 与 Alexa 在 2007 年提出的思想)惩罚每个局部邻域的变形梯度 FF 远离旋转矩阵的程度:

Rarap=∑iAi ∥Fi−Ri∥F2,Ri=arg⁡min⁡R∈SO(3)∥Fi−R∥F2\mathcal{R}_{\text{arap}} = \sum_i A_i\,\|F_i - R_i\|_F^2, \qquad R_i = \arg\min_{R\in SO(3)}\|F_i - R\|_F^2

其中 AiA_i 是第 ii 个局部邻域的面积或体积权重,RiR_i 是与该邻域最接近的旋转。这个最小化有闭式解:当 FiF_i 的行列式为正时,RiR_i 就是极分解 Fi=RiUiF_i=R_iU_i 里的旋转部分。于是正则项的含义变得很清楚——只允许形变里的旋转部分自由变化,拉伸与剪切要付代价。λ\lambda 的作用是在「贴合观测」和「形变平滑」之间取舍。这个形式看起来简单,但实际问题很硬:观测只有表面,形变只能从表面反推,同一个表面可以被无穷多种内部形变解释——这就是非刚性配准的欠约束问题。

为什么这个问题对塑性物体尤其难

弹性物体的非刚性配准有两条便利条件,塑性物体都没有。

第一条是模板可信。弹性物体的参考形状在一段时间内是固定的,第一次扫描建好模板之后,之后每次配准都是「把模板对到观测」。变形再大,模板本身可信;配准的误差账本只在变形参数上累积,不会污染参考形状。塑性物体每经过一次操作,模板就被改写一次,配准的目标从一个固定模板变成一个「刚刚改写过、但不确定改写成什么样」的模板。

第二条是形变可积。弹性形变总可以写成一个梯度场,形变的内部一致性由应力平衡保证;塑性形变的中间构型只要求在它自己身上无应力,这并不约束 FpF^p 的具体分布——一段材料可以在体积不变的前提下,用无数种剪切组合实现同一个表面形状。

这带来一个很具体的问题:表面形状正确不等于内部形变正确。一个被揉成球的面团,表面看是个球;一个从外向内压成球的面团,表面也是球。两者对下一次按压的响应完全不同:前者内部已经被揉乱、硬化,后者仍是各向同性。如果世界模型的形状状态只记表面几何,那么两者的状态会完全一样,预测就会相同——而预测错了。

视觉与物理的互补:用两个先验约束一个欠约束问题

要让欠约束问题可解,需要引入额外的信息。常用的做法是把物理先验和视觉先验拼在一起:

  1. 接触先验。每一次塑性变形都来自具体的接触。机器人的夹爪、手掌、压板的位置是已知的,这些刚体与软物体的接触面是形变的局部来源。如果把接触当作「形变的已知输入」,那么只需要估计接触导致的局部形变,而不是全局形变。
  2. 体积先验。大多数软材料在塑性和弹性变形中都近似不可压,J=det⁡F≈1J=\det F\approx1。这是一个强约束:一个表面变形如果没有配上一个合适的内部变形来保持体积,就会被拒绝。
  3. 操作历史先验。上一帧的变形梯度 FpnF^n_p 是最好的初值。塑性变化是逐步累积的,不会一帧之内跳到完全另一个形变,所以上一帧的状态可以作为「先于观测的先验」,配准时作为初值,配准不收敛时保留先验而不是退回模板。

第三条最容易被忽略却是工程上最有用的:许多视觉配准方法每次都从零开始优化,结果是在一次抓取中,物体的形状估计抖动幅度很大,世界模型无法判断「是物体真变了,还是估计噪声」。把上一帧作为先验,相当于把估计的目标从「绝对形变」改成「增量形变」;增量本身有物理上的连续性,估计的方差小得多。

一个可以被世界模型直接维护的估计器结构

把上述几条拼起来,可以得到一个适合放进世界模型推理回路的结构:观测 →\to 增量配准 →\to 物理约束精修 →\to 写到形状状态。用伪代码写出来:

def update_shape_state(state, obs, contact, dt):
# 1. 用上一帧的 F_p 作为初值,只求增量位移
flow = estimate_delta_flow(obs, state.render(), state.F_p)
# 2. 用格点嵌入形变表示成增量映射
nodes = state.nodes # 控制点与其 (A_j, t_j)
nodes = fit_nodes_delta(nodes, flow, reg="arap")
# 3. 物理约束精修:体积守恒 + 塑性返回映射
for p in state.material_points:
x_ref = nodes_X(p) # 参考位置
x_new = apply_nodes(nodes, x_ref)
F_try = grad_nodes(nodes, x_ref) # 局部变形梯度
F_p, p.eps_p, p.damage = return_mapping(
F_try, p.F_p, p.eps_p, p.damage) # 与物理层共用的返回映射
# 4. 写回形状状态:塑性场 F_p 是最持久的记录,参考网格只是由它重建的视图
state.write_plastic_field(state.F_p) # 先写塑性场(含不相容部分)
state.rebuild_reference(state.F_p) # 再重建参考网格供下一帧渲染与配准
state.commit(obs_timestamp=now(), dt=dt)
return state

第 3 步里的 return_mapping 就是物理层的返回映射;它同时做了两件事——把试探应力拉回屈服面(得到合理的外观形状),以及更新塑性状态(记下这次操作把物体改成了什么样)。这个接口很关键:形状估计器不需要自己发明塑性,只需要调用一个与物理层共用的返回映射函数。这样,视觉看到的形状和物理维护的塑性状态就始终是同一套规则产生的,不会互相矛盾。

代价是:这一切依赖一个可用的、速度足够快的返回映射实现,以及一个可信的初始参考形状。下一章讨论怎么维护这两样东西。

维护层:参考形状的更新、漂移与再锚定

参考形状不是「最新观测」

最直接的更新方式是每帧把参考形状换成当前观测。这个做法在短期看起来正确,长期一定会坏,原因是观测有系统偏差,而参考形状会把偏差记成事实。

考虑一个标量化的版本:真实形状参数 θ\theta,第 kk 次观测 ok=θ+b+nko_k=\theta+b+n_k,其中 bb 是系统偏差(深度传感器的尺度误差、遮挡导致的表面缺失、镜面反射造成的深度孔洞),nkn_k 是零均值噪声,方差 σ2\sigma^2。用指数滑动平均更新参考:

Tk+1=(1−α) Tk+α okT_{k+1} = (1-\alpha)\,T_k + \alpha\,o_k

令误差 ek=Tk−θe_k=T_k-\theta,代入得 ek+1=(1−α)ek+α(b+nk)e_{k+1}=(1-\alpha)e_k+\alpha(b+n_k)。稳态误差的均值为 bb,方差为

Var⁡(e∞)=α2−α σ2\operatorname{Var}(e_\infty) = \frac{\alpha}{2-\alpha}\,\sigma^2

两个结论都很直白:噪声被平均掉了,α\alpha 越小方差越小;系统偏差一点都没有被平均掉,无论 α\alpha 取多少,参考形状最终都会偏 bb。这就是模板漂移(template drift)的本质——它不是随机游走,而是有方向的、由观测偏差驱动的累积。

对塑性物体,这个问题的后果比弹性物体严重。弹性物体的参考形状偏了一点,下次配准还能靠形变把偏差吸收回去;塑性物体的参考形状一旦偏了,下一次的「塑性增量」就会把这个偏差当成真实的永久变形固化下来——误差从「估计」变成了「状态」,再也回不去。

三个锚点

要让参考形状的更新有约束,需要给它几个不随观测漂移的锚。

几何锚是参考形状上那些可以被独立观测到的特征:纹理角点、印刷图案、夹具留下的压痕、物体的边缘曲率极值。它们的作用是提供与形变无关的对应关系。在配准的能量里,几何锚对应一组硬约束(或高权重的对应项),使得更新不会被整体平移、旋转、缩放带走。这一点和非刚性配准里的 landmark 约束是同一个东西,只是这里的 landmark 要跨越很长时间存活。

物理锚是塑性状态本身给出的约束。FpF^p 必须满足两个条件:体积比 Jp=det⁡FpJ^p=\det F^p 接近 1(对不可压材料),以及它必须与残余应力自洽。第二条听起来抽象,实际含义是:如果模型认为某块材料被永久压缩了,那么该处应该存在一个自平衡的拉应力,而这个应力会在下一次操作中表现出来。如果视觉更新出的 FpF^p 与物理预测的残余应力对不上,说明这次更新多半是错的,应该降权。

任务锚是任务相关的局部几何:抓取点附近的曲率、接触面的法向、插入任务需要的孔位。它们的权重高于其他区域,因为世界模型在这些地方犯错代价最大。这不是「更重要所以更准」的玄学,而是有明确理由的:抓取点附近的几何误差会直接改变接触力,而接触力又会改变下一次的塑性变形,误差在这里会被放大。把维护预算按任务敏感度分配,是形状状态维护里最实际的一条工程原则。

DeformGS 的形变表示:一组带规范属性的高斯如何经过形变函数 F 映射到度量空间,输出位置、旋转与阴影

上图来自 DeformGS 这篇工作(arXiv 首次公开于 2023 年 12 月,2024 年更新,针对高度可变形场景的三维点跟踪)。它把「规范空间里的高斯 + 一个形变函数」这套结构画得很清楚:高斯在规范空间里带一组属性(位置、旋转、尺度),形变函数 FF 根据高斯的位置与查询时间输出它在世界空间中的位置、旋转与一个阴影系数。这个结构值得世界模型借鉴的地方是规范属性与形变参数分离:高斯的身份、颜色、尺度都挂在规范空间上,形变只负责把它们送到当前位置。这样,即使物体被折叠、拉伸,身份信息也不会丢——这正是参考形状维护所需要的性质。它的局限也很明确:形变函数是从多视角视频里学出来的,学的是「看起来怎么动」,没有材料的记忆,也没有塑性状态,因此无法回答「松手之后会不会弹回去」。

再锚定:什么时候把变形「固化」成新的参考

一个必须做的决定是:什么时候承认「这次变形是永久的」,把它写进参考形状。写早了,会把一次弹性变形误记成永久变形;写晚了,参考形状与当前形状差得太多,配准的搜索范围变大,误差也变大。

把这件事写成假设检验。设一次操作之后的永久变形比例为 ρ∈[0,1]\rho\in[0,1](例如某个区域里塑性应变占总应变的比例),观测给出一个后验 p(ρ∣o)p(\rho\mid o),决策是「固化」或「暂缓」。固化错误的代价是参考形状被污染,需要一次代价很高的重新标定;暂缓错误的代价是配准误差增大、预测变差,但可以下次再判断。用贝叶斯决策的写法:

commit  ⟺  E[cost∣o]commit<E[cost∣o]defer\text{commit} \iff \mathbb{E}[\text{cost}\mid o]_{\text{commit}} < \mathbb{E}[\text{cost}\mid o]_{\text{defer}}

实际系统里不必真的算期望,可以用一个带滞回的阈值代替:当 P(ρ>τ∣o)>0.9P(\rho>\tau\mid o)>0.9 且连续 mm 帧成立时固化;固化之后,参考形状在固化点附近设置一个「不可回退」的保护期,防止下一次错误的观测把它改回去。滞回的意义是防止在阈值附近来回抖动——那种抖动会让形状状态在两种解释之间反复切换,是比单纯估计错误更难排查的故障。

释放探针:用一次动作换取可辨识性

只靠视觉,永久变形与弹性变形是分不开的:一根被压弯的杆,弯着的时候看起来一样,松手之后才会分出差别。与其在几何上纠结,不如主动做一个动作去测:松开夹爪、撤去外力,等一个松弛时间,再观测一次。

设释放前后的形状差为 Δrelease\Delta_{\text{release}},操作中的总形变是 Δtotal\Delta_{\text{total}},则永久变形的比例可以估为

ρ^=1−∥Δrelease∥∥Δtotal∥\hat\rho = 1 - \frac{\|\Delta_{\text{release}}\|}{\|\Delta_{\text{total}}\|}

(范数取表面位移场的 L2L^2 范数,或按区域分别计算。)这个估计的精度取决于两件事:松弛时间是否足够长(黏弹性材料需要等待),以及释放动作本身是否引入了新的形变(重力会让软物体在松开后下垂)。工程上的做法是把释放探针设计成一个轻量的、可重复的动作:小幅抬起再放下、轻微抖动、松开一侧夹爪。动作的幅度要足够产生可测的形状差,又要小到不引入新的塑性。

这与(二十九)讨论的主动感知是同一个逻辑:不确定性最高的地方,值得花一个动作去测。区别在于,那篇的探针是为了获得几何信息(换个视角看被遮挡的地方),这里的探针是为了获得材料状态信息(这次变形是不是永久的)。信息增益的计算也可以照搬:比较探针前后对 ρ\rho 的后验熵,如果熵下降得足够多,探针就值得做。一次释放探针的代价通常是零点几秒到两秒,比一次错误的固化小得多。

与(四十四)三个状态的一致性维护

形状状态不能独立于塑性状态更新。两者之间至少要满足三条一致性约束:

  1. 几何一致性:参考形状的增量必须能由 FpF^p 的更新解释,即
∂T∂t(X,t)=vp(X,t),Tk+1(X)=Tk(X)+Δt vp(X,tk)\frac{\partial T}{\partial t}(X,t) = v^p(X,t), \qquad T_{k+1}(X) = T_k(X) + \Delta t\, v^p(X,t_k)

其中 vpv^p 是由塑性流动速率推出的参考形状变化速度;不能出现参考形状变了、FpF^p 没变的情形。 2. 体积一致性:det⁡Fp\det F^p 的累积变化要落在材料允许的范围内(不可压材料接近 1,泡沫类材料允许 <1<1 但要有下界)。一旦超出,说明配准出了错,应该回退到上一帧状态而不是接受这次更新。 3. 寿命一致性:损伤状态与形状状态共享同一段加载历史。如果形状状态被回退,损伤状态不能继续累积——否则会出现「几何上回到了前一帧,寿命却已经消耗掉」的矛盾。

推理链路里的成本账

把这一篇的三个层放进一个实际的世界模型推理回路,算一下开销是怎么分布的。下面是一个示意性的预算表,按一次「观察 → 估计 → 更新 → 预测」的操作周期统计。具体数值随硬件与实现变化很大,这里只给出量级与瓶颈所在。

环节主要计算量级是否每步必做
观测与特征提取深度/点云去噪、几何锚检测与图像分辨率相关,数毫秒是
增量配准在格点嵌入形变上求增量,O(Nk)O(N k) 次节点插值与采样点数、节点数相关,数十毫秒是
物理约束精修体积守恒投影、逐材料点返回映射与材料点数相关,随点数线性是(可降采样)
参考形状固化假设检验与滞回,改动一小部分图元极低仅在满足条件时
释放探针一个短动作 + 观测 + 再估计零点几秒到两秒仅在高不确定时
预测 rollout物理步进或学习模型前向主导项由查询决定

从这张表能读出两件事。第一,持续的配准与精修是每一步的固定成本,而固化与探针是偶发的、可以按收益调度的事件。第二,预测 rollout 才是真正的开销大头:如果没有一个可信的形状状态,世界模型就得在每次查询时重新配准一遍观测、重新初始化物理状态,成本会随查询数线性上涨;而有了形状状态之后,预测可以从这个状态出发,不需要再碰观测。形状状态在这里扮演的角色与 KV 缓存很像——把已经算过、之后会反复用到的东西留下来,代价是要维护它的一致性。

这也解释了为什么「形状表示」的选择不能只看渲染质量。一个隐式形变场渲染质量可能最好,但如果它不支持增量更新、也不支持把塑性状态嵌进去,那么它在推理回路里就只能一次性用——每次要从头求值,无法承担缓存的角色。格点嵌入表示虽然表达力有限,但它的参数(每个节点的 3×33\times3 矩阵)可以增量修改,可以在两次观测之间做局部更新,天然适合被当成状态维护。这类取舍在系统层面比在论文的视觉效果层面更重要。

DeformGS 在六个高可变形场景上的渲染与三维点跟踪结果

上图是 DeformGS 在六个动态场景上的结果:布匹被反复翻转、折皱,点的跟踪必须跨越大变形保持对应。它说明了上一段里那个取舍的另一面:跨时间保持对应关系本身就是一段昂贵的计算,而且它的误差会直接表现为跟踪点的漂移。对世界模型来说,这段计算的价值在于它是预测的输入——没有稳定的对应,就没有稳定的形变场,也就无法从历史中推断下一次变形。

小结

这一篇把(四十四)留下的几何问题拆成三层来回答。

表示层上,能支持塑性的形状表示本质上是一个从固定参考空间到当前空间的映射,而非一组点。格点嵌入形变以每个节点的小仿射变换为参数,表达力有限但可增量改写;高斯变形把形变梯度接到协方差上,形变与外观一体;隐式形变场表达力最强,但推理成本高、缺少物理含义;粒子与体积网格直接携带塑性状态,但物理步进昂贵。选择的依据应该是它在推理回路里能否承担状态缓存的角色,而不是单张图的渲染质量。

物理层上,变形梯度 F=∇XΦF=\nabla_X\Phi 是连接几何与塑性的枢纽;乘性分解 F=FeFpF=F^eF^p 给出了「回不去」的精确含义;MPM 把塑性状态放在材料点上,返回映射把试探变形拆成可恢复与永久两部分。形状状态的更新方程的核心是:FpF^p 只被写入、不被还原,这与在线更新(那种会改写旧结论的过程)必须分开记账。

推断层上,非刚性配准是一个欠约束问题,塑性物体让它更难:模板会变,形变不可积。可解的办法是拼三个先验——接触、体积、历史;用一个与物理层共用的返回映射,把视觉估计出的形变直接写成塑性状态。

维护层上,参考形状不能简单地「取最新观测」,否则观测的系统偏差会被固化成状态。需要几何锚、物理锚与任务锚,需要带滞回的固化决策,需要在必要时做一次释放探针去买可辨识性,还需要在参考形状、FpF^p、损伤与寿命之间维持一致性。

把这一篇压缩成一句话:塑性之后的形状不是一个几何,而是一个由映射参数、塑性分解与三组锚点共同维护的状态;世界模型的几何正确性来自「表示支持增量改写、估计带有物理先验、维护保持内部一致」这三件事同时成立。

下一篇讨论形状状态再往下走的一层:当物体的参考形状不再是一个静态网格,而是随操作持续变化的分布,几何本身的「身份」如何延续——这涉及形状的持久化表示、多物体场景中身份的重新关联,以及长期运行下形状状态的存储与遗忘策略。

参考资料

  1. PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics
  2. DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation
  3. PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification
  4. Neural Stress Fields for Reduced-order Elastoplasticity and Fracture
  5. PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics
  6. D-NeRF: Neural Radiance Fields for Dynamic Scenes
  7. Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos
  8. Robust Shape Estimation for 3D Deformable Object Manipulation
  9. Key-Grid: Unsupervised 3D Keypoints Detection using Grid Heatmap Features
  10. Simo and Taylor, Consistent tangent operators for rate-independent elastoplasticity(1985 年)
  11. 世界模型从零讲起(四十四):软物体不会一直原样——塑性变形、疲劳与材料属性漂移
  12. 世界模型从零讲起(二十九):不确定的时候该往哪看——主动感知、信息增益与下一次观测的选择
  13. 世界模型从零讲起(三十九):同一套解释,为什么有时算得对、有时算不对——属性声明与世界状态的边界

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

世界模型从零讲起(四十五):形状被改写之后——形变场、参考形状重建与一个会变的形状状态
https://pinghaoyang.com.cn/articles/insights/posts/world-model-deformed-shape-part-45/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录