正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(三):JEPA——不重建像素,表征空间里的预测如何支撑规划
承接前两篇:第三条路线留下了一个尖锐的问题
第一篇把世界模型拆成「编码—动力学—控制器」三块,并按预测发生在哪个空间,分出重建、生成、联合嵌入三条路线。第二篇沿着 Dreamer 这条重建式路线走完了四代:RSSM 把状态拆成确定性历史与随机局部,KL balancing 让先验学会自己往前走,想象训练把策略放进潜空间里长大。那条路线的每一环都能用似然解释,代价也同样清楚——编码器必须能把观测重建回来。
重建是一个很强的要求。要让模型从潜变量还原出一帧图像,潜变量里就得保留纹理、光照、背景这些与决策无关的细节;像素级重建误差又会主导损失函数,让模型把容量花在「画得像」上,而不是「算得准」上。如果关注的是机器人抓取,真正要预测的是杯子会不会倒、夹爪会不会碰到杯壁,而不是桌布的花纹。
联合嵌入预测架构(joint-embedding predictive architecture,JEPA)换掉了这个约束:预测不再发生在像素或重建出的潜空间里,而是直接发生在编码器的输出表征上。给定一块可见区域,模型预测另一块区域的表征,两个表征都由同一个编码器产生,但预测目标不经过解码器。这条路线由 Yann LeCun 在 2022 年前后提出,Meta FAIR 用 I-JEPA(2023)、V-JEPA(2024)、V-JEPA 2(2025)把它从图像推到视频,再推到机器人规划;2025 年底的 LeJEPA 则试图把它从一堆启发式技巧里解放出来。
这篇文章按「为什么—怎么做—怎么用」展开:先讲表征空间预测为什么天然会坍缩,再讲三种防坍缩机制分别在约束什么,然后逐个拆 I-JEPA、V-JEPA、V-JEPA 2 与 LeJEPA 的架构与目标函数,最后落到一个工程问题——把 JEPA 当作世界模型时,规划到底怎么在它的表征空间里做,代价在哪里。
为什么在表征空间里预测会坍缩
从损失函数看:一个平凡解就在旁边
设编码器为 fθ,预测器为 gϕ。JEPA 的目标可以写成
LJEPA=∥gϕ(fθ(xctx))−sg(fθˉ(xtgt))∥2其中 xctx 是可见的上下文块,xtgt 是被遮挡、需要预测的目标块,sg(⋅) 表示停止梯度,θˉ 是目标编码器的参数。
如果只盯着这个式子,会发现一个让损失直接归零的解:令 fθ 对任何输入都输出同一个常数向量 c,预测器也输出 c。此时预测误差为零,但这组表征不含任何信息——这就是表征坍缩(representation collapse)。它不是一个需要精心构造的反例,而是这个目标函数最省力的下降方向:比起学会「从左边这块预测右边那块的内容」,把两边都压成一个常数要容易得多。
重建式的世界模型不会遇到这个问题,因为解码器在那儿守着:潜变量一旦变成常数,重建损失立刻爆炸。JEPA 主动拆掉了解码器,也就拆掉了这道防线。所以 JEPA 的所有设计,本质上都在回答同一个问题:在没有重建监督的情况下,靠什么阻止编码器偷懒。
坍缩的两种形态
工程上要区分两种坍缩。第一种是完全坍缩:所有输入的嵌入都相同,方差为零,下游任何线性探针都只能拿到常数特征,任务准确率退到随机猜测。第二种是维度坍缩:嵌入整体没有塌成一个点,但少数几个主成分占据了几乎全部方差,其余维度被压成噪声。后者更隐蔽——线性探针在简单任务上还能跑出不错的数字,一旦任务需要细粒度区分,性能就掉下来。
这两种形态对应两种约束:前者需要保证嵌入的方差不为零,后者需要保证协方差矩阵的非对角结构足够丰富。理解这一点,就能看懂后面几种防坍缩机制各自在补哪一块。
三种防坍缩的思路
围绕这个目标,文献里形成了三条互不排斥的技术路线:
- 不对称结构:让预测器和目标编码器不是同一个东西。目标编码器用指数滑动平均(EMA)更新,或者对目标分支停止梯度,使两侧不会「合谋」把表征压平。BYOL、DINO 属于这类,I-JEPA 与 V-JEPA 也沿用。
- 统计正则:直接在损失里加项,约束嵌入的方差与协方差。VICReg 是代表,LeJEPA 的 SIGReg 是它在高维上的一个新版本。
- 信息瓶颈与掩码难度:把预测任务设计得足够难,让常数解无法同时满足所有目标块。掩码块足够大、上下文足够分散时,模型必须编码语义才能把误差压下去。
接下来的章节会看到,I-JEPA 与 V-JEPA 把第 1 条和第 3 条绑在一起用,V-JEPA 2 在这个底座上加动作条件预测器,LeJEPA 则试图只留第 2 条,把前两条的启发式全部拿掉。
三个网络:JEPA 的最小结构
一个 JEPA 至少有三种参数不同的网络,这是它与普通自编码器最容易混淆的地方。
上下文编码器(context encoder)fθ 只处理可见部分。它的输入不是整张图,而是被掩码筛过之后的 token 序列;对图像来说,可见块以外的 patch 直接被丢掉,不参与计算。这一点与 MAE 的做法相同,目的都是省算力:预训练时大部分 patch 被遮挡,编码器只在前景的少数 token 上跑。
预测器(predictor)gϕ 接收上下文编码器的输出,再加上一组可学习的掩码 token,输出被遮挡位置的表征。掩码 token 的作用是告诉预测器「我要的是哪个位置的输出」;在 I-JEPA 里,每个待预测 patch 对应一个可学习的向量,再加位置编码。预测器通常比编码器窄很多——I-JEPA 用的是一个宽度约 384、深度 12 的小 ViT,而编码器是 ViT-H/14。
目标编码器(target encoder)fθˉ 处理完整输入,产出的 patch 级表征就是预测目标。它的参数不通过梯度更新,而是按 θˉ←mθˉ+(1−m)θ 从上下文编码器滑动平均得到,m 通常取 0.996 到 0.999。这条 EMA 路径是 JEPA 与 MAE 的关键区别:MAE 的预测目标是像素,不需要第二个编码器;JEPA 的预测目标是表征,而「表征」本身在训练中一直在变,必须有一个移动较慢的版本充当稳定的靶子。
把三者放在一起,一次前向的顺序是:
- 采样上下文块与若干目标块,从上下文块里扣掉与目标块重叠的部分;
- 上下文编码器处理可见 patch,得到 sx;
- 目标编码器处理完整图像,得到 sy,只在目标块位置取子集;
- 预测器以 sx 和掩码 token 为输入,输出每个目标块的预测 s^y(i);
- 在目标块位置上计算预测与目标的距离,梯度只回传到上下文编码器与预测器;
- 用上下文编码器的参数更新目标编码器。
这套结构有一个容易被忽略的细节:目标块是在目标编码器的输出上掩码,而不是在输入图像上掩码。I-JEPA 论文专门强调过这一点。如果在输入上挖掉目标块再送进目标编码器,被遮挡的区域缺少上下文,目标表征会变得支离破碎;而在完整输入上先编码、再按块取子集,目标表征看到的是整张图,语义完整。这个差别看似只是实现顺序,实际上决定了预测任务学到的是「补全局部纹理」还是「推断物体级语义」。
与重建式潜空间模型的区别
Dreamer 的 RSSM 也在潜空间里预测,为什么它不算 JEPA?区别在监督信号。RSSM 的潜变量必须能通过解码器还原观测,重建损失把潜变量拴在像素上;JEPA 没有任何解码器,表征只受预测损失和防坍缩约束。由此带来两个后果:
其一,JEPA 的表征可以丢掉任何与预测任务无关的信息。I-JEPA 论文的可视化显示,预测器输出的表征里保留了物体的姿态与部件位置,却丢掉了背景纹理和精确的低层细节。对规划来说这是优点——决策不需要知道桌布的花纹;对需要精细操作的任务这是缺点——夹爪与杯壁之间几毫米的间隙可能正好被丢掉。
其二,JEPA 的表征没有概率解释。RSSM 的随机状态是一个分布,可以采样、可以算 KL、可以表达多峰不确定性;JEPA 输出的是确定性向量,预测的「不确定性」只能靠集成或者额外的概率头来表达。这一点在后面的规划章节会变成一个具体的工程问题。
防坍缩之一:EMA 目标编码器为什么能挡住平凡解
对称结构的坍缩是必然的
假设上下文编码器与目标编码器共享参数 θ,也共享梯度。损失变成
L=∥gϕ(fθ(xctx))−fθ(xtgt)∥2对 θ 求梯度,更新方向会同时拉动两边:一边让 fθ(xctx) 靠近目标,一边让 fθ(xtgt) 靠近预测值。当预测器足够灵活时,最省力的下降是把两侧都往一个公共的低维子空间里挤——编码器发现「只要让所有输出都一样,误差就立刻归零」。这就是为什么早期的对称 JEA(BYOL 去掉目标网络的版本、SimSiam 去掉 stop-gradient 的版本)会在训练早期直接坍缩到 1 维。
移动偏慢的靶子
EMA 打破了对称性:目标编码器不接收梯度,只跟着上下文编码器缓慢移动。上下文编码器想通过「拉平自己的输出」来降低损失是没用的,因为目标编码器还在原来的位置,预测器仍然要预测旧的表征,拉平只会让误差变大。编码器只能往「让预测器能从上下文推出目标表征」的方向走,而这条方向要求表征里保留足够的语义信息。
这个解释并不完全严密——EMA 本身不保证不坍缩,只是让坍缩变得代价更高。VICReg 的作者指出,EMA 在某些数据分布与超参数下仍然会坍缩,所以 VICReg 额外加了方差与协方差项。LeJEPA 的作者走得更远,认为 EMA、stop-gradient、teacher 结构都是启发式,没有理论保证。这些争论说明一件事:EMA 是一个有效的经验技巧,但它不是坍缩问题的「解」,而是一种「延缓」。真正让 I-JEPA 稳定的是 EMA 与「难度足够的掩码策略」二者叠加。
停止梯度的作用位置
I-JEPA 的损失对目标项做停止梯度,sg(fθˉ(xtgt))。由于 θˉ 本来就不由梯度更新,这一步看起来多余;它的作用是防止预测器的梯度通过目标项倒灌进编码器,在实现层面保证「预测器预测的是靶子,靶子不能被预测器改」。
工程上有一个常见错误是把 EMA 的更新频率设得过高:m 越接近 1,靶子移动越慢;训练早期表征变化很快,靶子跟不上,损失居高不下,看起来像「训练不收敛」,实际是靶子停在了几千步之前的旧表征上。V-JEPA 的配置里 EMA 动量从 0.998 线性爬升到 1.0,V-JEPA 2 则从 0.999 爬到 1.0,并且和学习率、权重衰减共用同一段 ramp-up 日程。把这三条 schedule 对齐是复现的前提,只抄动量数值而不抄 schedule 是常见的失败来源。
I-JEPA:在图像上把表征预测跑通
I-JEPA(Image-based Joint-Embedding Predictive Architecture)由 Meta FAIR 于 2023 年发表在 CVPR,作者包括 Mahmoud Assran、Nicolas Ballas 与 Yann LeCun。它是 JEPA 概念的第一个可扩展的图像实现,也是后续 V-JEPA 的直接前身。

图中三条路径对应上一节说的三个网络。上下文编码器只看到稀疏的可见 patch;预测器被调用 M 次,每次给一组目标块的掩码 token;目标编码器看完整图像,产出的 patch 表征经掩码后作为回归目标。右下角的 EMA 箭头是它与 MAE 的分界线。图源:I-JEPA 论文 Figure 3。
掩码策略比损失函数更重要
I-JEPA 的论文把大部分篇幅花在掩码上,因为这是让表征「语义化」的主要手段。具体做法是:
- 采样 M=4 个目标块,每块面积占全图的 0.15 到 0.2,长宽比在 0.75 到 1.5 之间随机;
- 采样一个上下文块,面积占 0.85 到 1.0,长宽比为 1;
- 把与目标块重叠的上下文区域扣掉,剩下的可见 patch 才送进上下文编码器。

从图中可以看出,目标块不是随机散落的 patch,而是成块的、覆盖物体部件的区域;上下文块虽然覆盖全图大部分面积,但扣掉目标后只剩零散的可见区域。图源:I-JEPA 论文 Figure 4。
为什么要这样设计,论文给了两条理由,都能用信息量解释:
第一,目标块必须足够大。如果目标块只有几个 patch,预测它只需要利用邻域的纹理连续性,模型学到的是低级补全;目标块覆盖一个物体部件时,预测它必须借助对物体类别的理解。论文的消融很直接:同样用 ViT-B/16 预训练 300 个 epoch,在 1% ImageNet 标签上做线性探针,多块掩码拿到 54.2% top-1,而把图像切成四个象限、用一个象限预测另外三个的 rasterized 掩码只有 15.5%,单块掩码 20.2%,随机 patch 掩码 17.6%。四组实验的上下文比例都被控制在 0.25 左右,差距几乎全部来自目标块的形状与语义层级。
第二,上下文必须分散。如果上下文集中在图像一角,预测器只能看到局部,任务退化成「从邻近区域外推」;上下文覆盖全图、但被目标块挖出许多空洞时,预测器必须把远处的信息整合起来,才能推断被挖掉的是什么。这一点与 MAE 的随机掩码相反:MAE 希望编码器看到尽可能多的连续区域以降低重建难度,I-JEPA 希望上下文稀疏但空间分布广,以提高预测任务的信息含量。
目标表征在编码器输出上取
上一节提到,I-JEPA 在目标编码器的输出上做块掩码,而不是在输入上挖洞。论文的消融把这一点量化了:用 ViT-L/16,目标取目标编码器的输出时,1% 标签线性探针为 66.9%;直接把像素当目标(相当于像素空间预测)只有 40.7%,而且后者还多训练了 300 个 epoch。同一个架构、同一套掩码,仅改变预测目标的空间,语义层级差了 26 个百分点。
这也解释了 JEPA 为什么能省算力。像素目标要求模型重建每一个 patch 的低层细节,损失被高频纹理主导;表征目标已经把细节压掉,损失只关心语义上可预测的部分。I-JEPA 用 16 张 A100 训练 ViT-H/14 300 个 epoch,耗时不到 72 小时,约 1200 GPU 小时;论文称这比用 iBOT 训练 ViT-S/16 快 2.5 倍以上,比用 MAE 训练同规模 ViT-H/14 省 10 倍以上算力。ViT-H/14 在 ImageNet-1K 线性探针上达到 79.3%,448 分辨率的 ViT-H/16448 达到 81.1%。
需要提醒的是,这些数字是线性探针,不是微调后的下游精度。线性探针只训练一个线性分类头、冻结整个编码器,衡量的是表征本身的可分性;它比微调更接近「世界模型底座」的使用方式——机器人规划时编码器也是冻结的,不会为每个任务重新训练。
为什么不用数据增强
对比学习(SimCLR、DINO)靠同一张图的两个增强视图拉近表征;I-JEPA 不做任何视图增强,只做掩码。原因不是「增强没用」,而是增强把人类先验写进了任务:裁剪、颜色抖动、翻转定义了模型应该对哪些变换不变。这些先验在图像分类上合适,换到视频、音频、机器人观测就不一定成立——机器人不应该对左右翻转不变,因为左右翻转会改变动作的方向。
掩码是一个更通用的自监督信号:它在任何模态上都成立(图像块、视频管、音频片段),不需要针对模态设计变换。这是 JEPA 被 LeCun 视为「通用世界模型底座」的原因之一,也是 V-JEPA 能从图像平滑扩展到视频的前提。
预测器为什么要做成「窄」的
I-JEPA 的预测器宽度固定为 384,而编码器是 1024 维;深度上 ViT-B 配 6 层、ViT-L/H 配 12 层、ViT-G 配 16 层。论文的消融显示,把预测器加宽到与编码器一样的 1024 维,下游反而从 70.7% 掉到 68.4%。原因与上一节讨论的坍缩是同一条逻辑:如果预测器容量太大,它能单靠上下文把目标表征推得足够准而不需要编码器提供有用的信息,编码器就退化成「提供一个可以忽略的摘要」。让预测器经过一个窄瓶颈,等于强制编码器把最关键的信息编码进去。
预测器深度则相反:从 6 层加深到 12 层,下游从 64.0% 升到 66.9%。这说明宽度上的瓶颈是有益的,深度上的推理能力是需要的。预测器要做的事是「以上下文为条件、针对某个位置做多步推断」,层数决定它能推断多少步。
V-JEPA:把同一套目标搬到视频
V-JEPA 由 Meta FAIR 在 2024 年提出,论文标题是「Revisiting Feature Prediction for Learning Visual Representations from Video」。它的核心主张是:特征预测本身就是一个独立的、足够的无监督目标,不需要预训练图像编码器、不需要文本、不需要负样本、不需要重建。这四条「不需要」在当时的视觉自监督里都不常见——多数视频模型要么从图像模型蒸馏,要么依赖对比学习。
从 2D patch 到时空管
视频与图像的结构差异在第一步就体现出来。I-JEPA 把图像切成 16×16 的 patch;V-JEPA 把视频切成尺寸为 2×16×16 的管状 patch(tubelet),即 2 帧时间跨度、16 像素空间跨度的小方块。一帧图像变成一块块的二维网格,一段 16 帧的视频就变成 8×H/16×W/16 的立方体网格。
掩码策略也相应变成三维多块掩码,论文给了两种模板:
- 短程掩码:取 8 个随机目标块的并集,每块空间尺度 0.15,时间上只覆盖少量帧;
- 长程掩码:取 2 个随机目标块的并集,每块空间尺度 0.7,时间跨度更长。
短程掩码逼迫模型理解「局部物体在短时间内如何变化」,长程掩码逼迫它理解「场景层面的运动与遮挡」。两者交替出现,让表征同时覆盖物体级与场景级的时空结构。这也解释了 V-JEPA 在线性探针上为什么同时擅长运动类任务(Something-Something-v2,需要理解动作)与外观类任务(Kinetics-400,主要看物体与场景)。
因果掩码
V-JEPA 还讨论了第三个变体:causal multi-block,上下文只能取视频的前 p 帧,目标块在后面。这更接近在线机器人场景——智能体只能看到过去,要预测未来。消融结果并不像直觉那样——causal multi-block 反而全面落后:只允许看前 6 帧或 12 帧时,Kinetics-400 分别只有 61.3% 与 71.9%,Something-Something-v2 只有 49.8% 与 63.6%,ImageNet 也不到 73%;而非因果的 multi-block 三项分别是 72.9%、67.4%、72.8%。
这组数字说明,「因果」在这里主要不是一个更强的先验,而是一个更小的信息预算。上下文被限制在过去若干帧后,可用于预测的信息量骤降,同样的训练预算下表征质量跟着下降。真正要做因果预测(例如机器人规划),通常的做法是先在非因果、信息充足的目标上预训练表征,再在冻结编码器之上单独训练一个因果预测器——这正是 V-JEPA 2 的选择,后面会详细展开。
规模与结果
V-JEPA 在约 200 万段公开视频上训练,每段输入为 16 帧、时间步长 4(即覆盖约 64 帧、两秒左右的原始视频),用 90K 次迭代、batch size 3072 训练。最大的 ViT-H/16/384 在 Kinetics-400 上达到 81.9%、Something-Something-v2 上 72.2%、ImageNet-1K 上 77.9%,全部是冻结主干加轻量探针的结果。Something-Something-v2 是纯运动理解的基准,ImageNet 是纯外观的基准,一个只用视频特征训练、从未见过图像的编码器能同时在两端拿到这个水平,是「视频特征预测」作为独立目标的直接证据。
需要区分两个容易混淆的数字:上表提到的 72.9% 来自对比不同掩码策略时用 ViT-L 在 90K 迭代上的统一设置,V-JEPA 论文正文报告的 81.9%/72.2%/77.9% 来自 ViT-H/16/384 在更大规模、更长训练日程下的配置。做对比实验和报告最终结果用的是两套设置,引用时不能混用。
V-JEPA 2 在此基础上的改进集中在数据规模、模型规模、位置编码与训练日程上,方法主干没有变。重点从「理解」转向「控制」。
V-JEPA 2:三阶段训练与动作条件世界模型
V-JEPA 2 由 Meta FAIR 于 2025 年发布(arXiv:2506.09985)。它把前两代的表征预测扩展成一条三阶段流水线:大规模视频预训练、语言/任务对齐、机器人交互数据后训练。三段各自解决一个不同的问题,最后一段才把「会预测」变成「会动」。

三段之间的连接方式是「冻结与解冻」:第一阶段训练编码器;第二阶段冻结编码器,只训练轻量探针或用投影层接语言模型;第三阶段同样冻结编码器,只训练一个新的动作条件预测器。图源:V-JEPA 2 论文 Figure 1。
第一阶段:把表征预测的规模拉上去
预训练数据从 V-JEPA 的 200 万段视频扩大到 2200 万段,总量超过 100 万小时,再加 100 万张图像。编码器从 ViT-L 扩到 ViT-g(约 10 亿参数),训练迭代从 90K 扩到 252K。
为了在有限算力下吃掉这些数据,V-JEPA 2 加了三个工程手段:
- 位置编码换成 3D-RoPE。把特征维度分成时间、高、宽三段,各自做一维旋转位置编码。相比绝对 sincos 位置编码,RoPE 对长度变化更友好,训练大模型时更稳定;这也是它能处理「超过 16 帧的片段」的前提。
- 渐进分辨率训练。训练前段用较短、较低分辨率的片段,到最后的衰减阶段才把分辨率和帧数拉满。高分辨率片段的注意力开销是平方级的,全程用高分辨率会让大部分迭代浪费在「学基础表征」上;渐进方案把算力集中在后段的精调上。
- 更长的 warmup + 常数 + 衰减日程。学习率先 warmup、再保持常数、最后衰减,常数段让模型在数据量增大时不必频繁调整超参数,也让训练迭代数可以从 90K 扩到 252K。
这一阶段训练的模型在冻结编码器 + 4 层 attentive probe 的协议下,六个视频理解任务的平均准确率达到 87.5%;Something-Something-v2 达到 77.3% top-1,比上一代明显提高。
第二阶段:把视觉表征接到语言上
V-JEPA 2 的编码器在预训练时没有见过任何文本。要让它能回答「视频里的人在做什么」,需要一个对齐步骤:把编码器的 patch 输出投影到语言模型的输入空间,用视频问答数据训练投影层与语言模型(视觉塔可冻结)。论文用了最多 70 亿参数的语言模型与 8850 万条对齐样本。
这一阶段不是本文重点,但它的存在说明一件事:世界模型的表征与语言接口是两层东西。表征负责「看懂发生了什么」,语言对齐负责「把看到的说出来」。JEPA 的价值在于第一层可以独立于语言预训练——不需要图文对,也不需要 caption,纯视频就能学出时空结构。对于机器人这类没有大规模 caption 的领域,这一点很关键。
第三阶段:V-JEPA 2-AC
V-JEPA 2-AC(action-conditioned)是这一代的核心新增部件。它把第一阶段学到的编码器冻结,在其上训练一个自回归的动作条件预测器,输入是过去若干帧的表征、机器人末端执行器状态与动作,输出是下一帧的表征。
具体配置如下:
| 项目 | 配置 |
|---|---|
| 数据 | Droid 数据集中约 62 小时无标注视频,约 2.3 万条轨迹 |
| 片段 | 4 秒、4 fps、16 帧、256×256,不足 4 秒的视频丢弃 |
| 动作 | 相邻帧末端状态的差分,7 维:位置 3 维、欧拉角 3 维、夹爪 1 维 |
| 编码器 | V-JEPA 2 ViT-g,冻结,输出 16×16×1408 的特征图 |
| 预测器 | 约 3 亿参数 Transformer,24 层、16 头、1024 隐藏维、GELU |
| 注意力 | block-causal,每个 patch 只能看当前与过去时间步的动作、状态、特征 |
| 损失 | teacher forcing 的 L1 + 2 步 rollout 的 L1 |

左侧是 teacher forcing:每一步都用真实的当前帧表征作为输入,预测下一步;右侧是 rollout:把模型自己的输出喂回去,再预测两步之后的表征。两者相加,前者保证单步精度,后者让模型提前适应推理时「输入是自己预测出来的」这种分布。图源:V-JEPA 2 论文 Figure 6。
为什么冻结编码器?三个理由。第一,编码器是在 100 万小时视频上训练的,参数量 10 亿,如果后训练时解冻,62 小时的机器人数据不足以支撑它继续学习,反而会把它拉向过拟合。第二,冻结之后,后训练只更新 3 亿参数的预测器,训练成本可控,论文报告能在有限算力下完成。第三,冻结保证表征空间稳定——如果编码器在机器人数据上漂移,第一阶段建立的语义结构会被破坏,而规划依赖的正是这个结构。
这个设计选择也带来一个结构性限制:动作条件预测器只能在编码器已经保留的信息上做预测。如果编码器把「夹爪与杯壁的间隙」这类细粒度空间信息丢掉了,预测器再强也补不回来。后面的失败案例分析会看到这一点。
在表征空间里规划:能量最小化与交叉熵方法
训练好 V-JEPA 2-AC 之后,怎么用它控制机器人?V-JEPA 2 给出的答案是目标图条件的能量最小化,形式非常简洁。
给定当前观测帧 xk、当前末端状态 sk、目标图 xg,先用冻结编码器把它们编码成特征图 zk 与 zg。规划器要找到一段长度为 T 的动作序列 a^1:T,使得世界模型从当前状态出发、执行这段动作后到达的表征,与目标表征的距离最小:
E(a^1:T;zk,sk,zg)=∥Pϕ(a^1:T;sk,zk)−zg∥1a^1:T⋆=arga^1:TminE(a^1:T;zk,sk,zg)这里 Pϕ 就是 V-JEPA 2-AC 的预测器,它把动作序列与当前状态滚动地展开成未来表征;zg 是目标图的编码。能量是 L1 距离而不是 L2,论文没有专门解释,一个合理的推断是 L1 对表征空间里的离群维度更宽容,优化景观更平坦,CEM 的高斯采样更容易找到下降方向。

这张图就是整个控制回路的全貌:左侧编码当前帧,右侧编码目标图,中间预测器展开候选动作,底部用 L1 比较终态表征与目标表征。优化器是交叉熵方法(CEM):每轮从高斯分布采样一批动作序列,取表现最好的若干条更新高斯分布的均值与方差,重复若干轮后取均值作为动作。规划时只执行第一步动作,然后重新观测、重新规划——这是标准的滚动时域控制(receding horizon control)。图源:V-JEPA 2 论文 Figure 7。
为什么用 CEM 而不是梯度
能量函数对动作是可微的——预测器是 Transformer,动作是连续输入,理论上可以直接对动作求梯度做 Adam 优化。论文选择 CEM 有几个现实原因:
第一,梯度可能不可靠。表征空间的距离不是一个良态的物理代价,它对动作的梯度可能在局部给出误导方向,尤其是动作超出训练分布时。CEM 只依赖前向评估,不依赖梯度质量。
第二,CEM 天然并行。800 条候选动作可以在 GPU 上组成一个 batch,一次前向全部评估;梯度法要串行地迭代,且每次迭代都要反传。
第三,CEM 能处理多峰。如果同一个目标有多种实现方式(从左边绕或从右边绕),高斯采样的种群会同时保留两个峰,而单条梯度轨迹只会选一个。
代价是采样数很大:论文用 800 条样本、10 轮迭代、规划时域 1,也就是每个控制步要跑 8000 次预测器前向。这个数字看着吓人,但预测器只有 3 亿参数、输入是 256 个 patch 的表征、时域只有 1 步,单次前向很便宜;在单张 RTX 4090 上,一个控制步约 16 秒。
与视频生成式世界模型的成本对比
V-JEPA 2 论文把 Cosmos(一个 70 亿参数的潜扩散视频生成世界模型)作为对照,两者都用 CEM、都在单张 RTX 4090 上规划(下表为论文 Table 3 中 Lab 2 的数据):
| Cosmos(视频生成) | V-JEPA 2-AC(表征预测) | |
|---|---|---|
| 采样数 | 80 | 800 |
| 迭代轮数 | 10 | 10 |
| 规划时域 | 1 | 1 |
| 单步规划耗时 | 约 4 分钟 | 约 16 秒 |
| Reach 成功率 | 80% | 100% |
| Grasp(杯子) | 0% | 60% |
| Pick-and-place(杯子) | 0% | 80% |
这张表的重点不是「谁更强」,而是成本结构:表征预测把每次前向的代价压到了视频扩散的几十分之一,因此可以用 10 倍的采样数去换更稳的优化,总耗时仍然低一个数量级。视频生成模型每一步都要跑完整的去噪链(几十次 U-Net 或 DiT 前向),而 JEPA 只需要一次预测器前向。这个差距在实时控制场景里是决定性的。

图中是零样本迁移的定性结果:模型只在 Droid 数据上训练过,部署到两个从未见过的实验室、不同的相机位置与物体摆放,仍然能按子目标完成抓取与放置。图源:V-JEPA 2 论文 Figure 10。
LeJEPA:把防坍缩从启发式变成分布匹配
前面几节的 JEPA 都依赖同一套经验配方:EMA 目标编码器、stop-gradient、不对称的预测器与编码器、精心设计的掩码。这些技巧有效,但很难回答「为什么是这些参数」「换一个数据集要不要重调」。2025 年 11 月,Randall Balestriero 与 Yann LeCun 发表了 LeJEPA,试图给出一套有理论依据的替代方案。
它的核心结论只有一句话:如果没有任何下游任务的信息,JEPA 的嵌入应该服从各向同性高斯分布;只要把嵌入约束到这个分布,就不需要 EMA、不需要 stop-gradient、不需要 teacher-student 结构,也不会坍缩。
为什么是高斯
这个结论来自对下游线性探针的风险分析。假设冻结编码器,在上面接一个线性预测器做分类或回归,那么预测误差可以分解为偏差与方差。LeJEPA 把查询点上的偏差对分布积分,得到积分平方偏差(integrated square bias,ISB),并证明:在协方差被约束为标量(各向同性)的条件下,各向同性高斯是所有分布中 ISB 的唯一最小值点。
直观理解是:各向同性高斯在给定总方差时熵最大,等价于「不把方差浪费在任何特定方向上」。如果嵌入在某些方向上被压扁、另一些方向被拉长,线性探针为了补偿这种各向异性要付出更大的权重范数,偏差与方差都会变差。高斯分布让每个方向的信噪比尽量均匀,下游任务无论用到哪个方向都不会特别吃亏。
这个结论有前提:只考虑线性探针、协方差受限、下游任务未知。它不保证高斯分布在所有非线性下游任务上最优。LeJEPA 论文自己也把这条定理的适用范围写得很清楚,引用时不应把它当成「高斯是万能最优」。
SIGReg:在 256 个方向上做一元检验
知道了目标分布,接下来的问题是怎么把嵌入「推」过去。直接在高维空间做分布检验不可行——高维样本稀疏,矩估计不稳定,而且梯度容易爆炸。LeJEPA 的做法借用了 Cramér-Wold 定理:两个多维分布相等,当且仅当它们在所有一维方向上的投影分布都相等。
于是问题分解成两步:
- 采样 M 个随机单位方向 {am},把嵌入投影成 M 组一维标量;
- 对每组投影,检验它是否服从标准正态 N(0,1),把检验统计量求和作为正则项。

图中三条横向箭头就是随机投影方向,右侧彩色曲线是嵌入在各方向上的经验密度,黑色曲线是标准正态。SIGReg 的目标是让每一组彩色曲线都贴近黑色曲线;所有方向都贴近时,多维嵌入就是各向同性高斯。图源:LeJEPA 论文 Figure 2。
具体的检验统计量用的是 Epps-Pulley:比较经验特征函数与目标分布的特征函数,
T=N∫−∞∞φ^N(t)−e−t2/22e−t2/2dt其中 φ^N(t)=N1∑n=1Neita⊤fθ(xn) 是投影样本的经验特征函数,e−t2/2 是标准正态的特征函数,最后一个 e−t2/2 是高斯窗,用来压低大 t 处的数值噪声。积分用 17 个均匀采样点做梯形近似。
这个式子的关键在于:常数嵌入的特征函数是 eiat,模长恒为 1,而标准正态的特征函数在 t 增大时迅速衰减到 0,两者在整个积分区间上的差距很大。也就是说,坍缩解在 SIGReg 下的损失极大,不需要额外的方差项去补。这是它比 VICReg 更彻底的地方——VICReg 要同时约束方差与协方差,SIGReg 用一个分布匹配项同时管住两者。
实现只有十几行
论文给出的参考实现如下(略去多卡同步):
1def sigreg(x, global_step, num_slices=256):2 # x: (N, K) embeddings3 g = torch.Generator(device=x.device)4 g.manual_seed(global_step)5 A = torch.randn((x.size(1), num_slices), generator=g, device=x.device)6 A /= A.norm(p=2, dim=0)7
8 t = torch.linspace(-5, 5, 17, device=x.device)9 exp_f = torch.exp(-0.5 * t ** 2) # N(0,1) 的特征函数10 x_t = (x @ A).unsqueeze(2) * t # (N, M, T)11 ecf = (1j * x_t).exp().mean(0) # 经验特征函数12 err = (ecf - exp_f).abs().square() * exp_f13 return torch.trapz(err, t, dim=1).sum() * x.size(0)num_slices 默认 256,积分点 17 个,global_step 用于多卡之间同步方向采样。计算量与嵌入维度 K 只通过一次 N×K 的矩阵乘相关,后面的特征函数是 O(NMT) 的逐元素运算,因此对高维嵌入也是线性的。论文在 V100 上测得 batch 512、512 个方向、16 个积分点时,一次前反向约 0.46 毫秒;batch 32768 时约 26 毫秒。相对于编码器本身的前向,这个开销可以忽略。
LeJEPA 的总损失是预测损失加 λ⋅SIGReg,只有 λ 一个需要调的权衡参数。论文报告它在 ResNet、ViT、ConvNeXt、MaxViT、Swin 等 60 多个架构、10 多个数据集上都能稳定训练,包括 18 亿参数的 ViT-g;ImageNet-1K 上用 ViT-H/14 做线性探针达到 79%。训练损失与下游线性探针准确率的相关性达到 94.5%,这意味着可以用训练损失直接做模型选择,不必反复跑探针。
它对世界模型意味着什么
LeJEPA 目前主要在图像分类、分割这类任务上验证,还没有在 V-JEPA 规模的视频预训练与机器人规划上复现。但它对世界模型的意义有两层。
第一层是工程简化。EMA、stop-gradient、动量日程都是超参数,少一个就少一类失败模式。如果 SIGReg 能在视频上成立,V-JEPA 系列的后训练流程会简单很多。
第二层是表征分布可控。规划用的能量是表征空间里的 L1 距离;如果表征各向异性严重,某些方向的距离会被放大,能量景观出现虚假的陡壁或平台,CEM 容易陷在局部。各向同性高斯让距离的尺度在方向上大致均匀,理论上更利于优化。这是一个可以验证的假设:把 V-JEPA 2-AC 的编码器换成 LeJEPA 式训练的表征,测同一批规划任务的成功率与能量景观的平滑度,就能看出分布约束是否真的改善了规划。
把 JEPA 当世界模型部署:三笔成本账
JEPA 的推理成本结构与 Dreamer、视频生成模型都不一样。把它拆成三笔账,能看清它适合什么场景、不适合什么场景。
第一笔:编码成本
每来一帧新观测,都要跑一次编码器。V-JEPA 2 的编码器是 ViT-g,输入 256×256,patch 16,输出 16×16×1408 的特征图,也就是每帧 256 个 token、每个 1408 维。对 16 帧的片段,特征总量是 16×256×1408≈5.8M 个浮点数,fp32 下约 23 MB。
这笔成本是每帧一次、与规划采样数无关。所以工程上第一件事是把目标图的编码缓存起来——目标图不变时,zg 只需算一次,之后每一步规划都复用。当前帧的编码也可以在多步控制之间复用,只对新观测重新编码。
第二笔:预测成本
CEM 每轮要评估一批候选动作。V-JEPA 2 的配置是 800 条样本、10 轮迭代。每条样本要跑一次预测器,输入是当前帧特征、末端状态与动作序列,输出未来表征。由于规划时域是 1,每条样本只展开一步,预测器只跑一次。
所以每个控制步的预测器前向次数是 800×10=8000 次。预测器是 24 层、1024 维、3 亿参数,800 条候选在一次 batch 里并行评估,摊到每条候选约 2 毫秒,整个控制步约 16 秒——与论文报告的数字吻合。
这个成本模型可以直接外推:如果把规划时域从 1 提到 5,每条样本要自回归展开 5 步,预测器前向变成 4 万次,耗时约 80 秒。这就是为什么论文把时域设为 1,并用「执行一步、重新规划」的滚动时域来控制——用更高的重规划频率换更短的时域,避免自回归误差累积。
第三笔:搜索成本
CEM 本身的开销是采样、排序、更新高斯参数,相对前向可以忽略。但在多目标(抓取、搬运、放置)任务里,V-JEPA 2 用人工设定的子目标切换:先对第一个子目标规划 4 步,再对第二个子目标规划 10 步,最后对第三个子目标规划 4 步。这套 schedule 是手写的,不是模型学出来的。它说明当前的 JEPA 规划还停留在「短时域 + 人工任务分解」的阶段,离端到端的长时域自主规划有距离。
一个可复用的成本估算式
把三笔账合起来,单个控制步的预测器前向次数近似为
Nfwd≈S×I×T其中 S 是 CEM 每轮采样数,I 是迭代轮数,T 是规划时域。编码器前向次数是 Tobs(新观测帧数),通常远小于 Nfwd。以 V-JEPA 2 为例,S=800、I=10、T=1,得到 8000 次;如果换成 Dreamer 式的单条想象轨迹、策略直接输出动作,S=I=1,前向次数降到个位数——这是 Dreamer 推理成本低的根本原因,也是它在高频控制上更有优势的原因。
四条路线的定位
把 Dreamer、V-JEPA 2-AC、动作条件视频模型(WAM)与纯视频生成世界模型放在一张表里,能看清 JEPA 在整条谱系里的位置:
| DreamerV3 | V-JEPA 2-AC | DreamZero(WAM) | Cosmos 式视频世界模型 | |
|---|---|---|---|---|
| 预测空间 | 重建式潜变量 | 冻结编码器的表征 | 视频扩散的潜空间 | 像素/视频潜空间 |
| 预测对象 | 状态 + 奖励 | 下一帧表征 | 未来视频 + 动作块 | 未来视频 |
| 是否需要奖励 | 是 | 否(目标图) | 否(行为克隆 + 想象) | 否 |
| 动作如何进入 | 策略在想象中选择 | 动作 token 条件 | 与视频联合去噪 | 动作条件微调 |
| 规划方式 | 想象 + 价值网络 | CEM 能量最小化 | 直接生成动作 | 生成式规划 / MPC |
| 单步成本 | 低(潜空间 rollout) | 中(数千次预测器前向) | 高(扩散去噪) | 很高(完整去噪链) |
| 数据需求 | 在线交互 | 少量无标注机器人视频 | 视频 + 动作数据 | 大规模视频 + 动作微调 |
这张表最容易被误读成「越往下越好」。实际上四条路线各自适配不同约束:
- 如果环境可以低成本在线交互、奖励可定义,Dreamer 的样本效率与推理成本都最好;
- 如果只有无标注视频、任务用目标图描述、控制频率不高,V-JEPA 2-AC 的「冻结编码器 + 轻量预测器 + CEM」是成本最低的方案;
- 如果需要生成高保真未来视频、或者要把动作与视频联合建模,WAM 与视频生成路线更合适,代价是推理贵;
- 如果目标是构建通用仿真器、做数据合成与评估,视频生成模型的价值不在控制回路里,而在「生成训练数据」上。
本站的 动作条件世界模型完全拆解 详细拆过 DreamZero 的联合去噪与 KV 缓存回灌;具身智能完全入门 则从更宏观的角度梳理了 VLA、世界模型与机器人数据之间的关系。两篇对照本文看,能拼出「表征预测—动作条件—视频生成」这条完整谱系。
JEPA 路线的局限与未解决问题
细粒度信息被丢掉
这是 JEPA 路线最结构性的一条限制。表征预测的目标是「语义上可预测的部分」,精确的空间细节在训练中自然被压缩掉。对抓取杯子这类任务,问题是夹爪与杯壁的间隙只有几毫米;I-JEPA 的掩码消融显示,目标块越大,表征越语义化,而细粒度定位能力越弱——两者是同一个机制的两面。
V-JEPA 2 的失败案例印证了这一点。论文里杯子抓取的成功率在两个实验室分别是 70% 与 60%,盒子只有 30% 与 20%;论文分析说,杯子的可行抓法之一是「一根手指伸进杯内、绕杯沿合拢」,这要求控制动作的精度足够高,动作稍有偏差就会错过杯沿。表征空间里的 L1 能量对「差几毫米」并不敏感——这两种状态在降维后的表征里几乎重合,规划器无法区分。
这不是靠扩大模型能解决的:信息在编码阶段就被丢掉了。可行的方向包括在编码器上接一个高分辨率分支专门保留局部细节,或者把低层视觉反馈(例如深度图或夹爪触点)作为额外的条件输入。
规划的能量景观依赖表征质量
CEM 能收敛的前提是能量景观足够平滑、局部凸。V-JEPA 2 论文专门画了单个动作维度上的能量曲面,看到在真实动作附近是平滑且局部凸的,这是一个很好的性质。但这是在「规划时域 1、动作限制在 L1 球半径 0.075 内」的条件下测的。动作幅度更大、时域更长时,预测器被推到训练分布外,能量景观是否还平滑没有验证。
更深一层,能量景观的形状决定了 CEM 的采样预算。800 条样本在二维动作空间(平移两轴)里够用,但在 7 维动作空间里覆盖度急剧下降。论文报告的动作是 7 维,但规划时限制在当前末端位置附近的小邻域,相当于把搜索空间缩小了;如果要做全 7 维的自由搜索,采样数需要指数级增加。
相机敏感性
V-JEPA 2-AC 只用单目 RGB 相机、不做相机标定,动作是末端执行器坐标系的差分。模型必须从图像中推断动作坐标轴——也就是说,它要自己学会「图像里的哪个方向对应机器人基座的 x 轴」。如果相机看不到机器人基座,这个推断就没有定义良好的解。论文报告,在两台机器人上都没有事先知道相机位置,实验中需要手工调整相机位置直到某个视角在所有任务上都可行。
这是一个典型的「表征预测省掉了标定,但把标定问题转移到了数据分布里」的例子。换成多相机、或者把相机外参作为显式条件输入,都能缓解;但这需要额外的工程。
长时域与自回归误差
规划时域 1 回避了自回归误差,但也意味着每个控制步都要重新编码、重新采样、重新优化。对高频控制(例如 100 Hz)来说,16 秒一步的规划不可能实时;即使对桌面抓取这种动作持续数秒的任务,规划耗时也比动作本身还长,整套操作会明显变慢——论文里一个完整的抓取放置轨迹因此需要远长于动作本身的时间。要真正做到高频控制,需要三条路子中的至少一条:更小的预测器、更少的采样、或者用学习到的策略网络替代 CEM(论文的 future work 提到「在世界模型想象里训练前馈策略来初始化规划问题」)。
理论层面的开放问题
JEPA 的哪一部分真正贡献了性能,目前还没有被充分分离。I-JEPA 的消融证明了掩码与目标空间重要;V-JEPA 的消融证明了掩码模板、数据规模、位置编码重要;但 EMA 的贡献、预测器容量与编码器容量的比例、表征维度与下游规划性能之间的关系,都只有零散的经验结论。
LeJEPA 给了一个理论方向:把表征分布约束到各向同性高斯,可以让防坍缩从「经验技巧」变成「可证明的性质」。但它只在图像分类上验证过,视频、具身、规划场景是否成立,需要等后续工作。这也是本系列下一篇要展开的内容之一。
小结
JEPA 的核心是一句话:预测发生在表征空间,而不是像素空间。它拆掉了解码器,因此省去了重建低层细节的算力,也让表征天然语义化;代价是必须自己解决坍缩问题。
三种防坍缩机制各自解决一块:EMA 目标编码器打破对称、让平凡解变贵;有难度的掩码让常数解无法满足所有目标;统计正则在 LeJEPA 里把坍缩从「要监视的异常」变成了「损失函数里显式惩罚的一项」。I-JEPA 用的是前两种,V-JEPA 把它们推到视频,V-JEPA 2 在冻结的编码器上训练动作条件预测器,LeJEPA 试图只用第三种并把前两种的启发式全部拿掉。
从「世界模型」的角度看,JEPA 的价值不在于生成逼真的画面,而在于提供一个低成本、可冻结、跨模态通用的表征底座。V-JEPA 2-AC 把它接上 CEM 能量最小化,用 62 小时无标注机器人视频在未见过环境里零样本完成抓取放置,每个控制步 16 秒——这组数字说明表征预测路线的规划成本可以比视频生成低一个数量级,代价是细粒度操作的精度受限。
下一篇转向视频生成式世界模型:Sora、GAIA-1、Cosmos、Genie 这些系统把「预测」做在像素或视频 token 上,架构、训练数据与推理成本都与 JEPA 完全不同。「视频模型是不是世界模型」的争论也会在那里展开——JEPA 的支持者会指出生成不等于理解,视频生成的支持者会指出生成才能提供感知细节。两条路线各有各的证据,对照着看比单独看任何一条都清楚。
参考资料
- Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture(I-JEPA,CVPR 2023,arXiv:2301.08243)
- Revisiting Feature Prediction for Learning Visual Representations from Video(V-JEPA,arXiv:2404.08471)
- V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(Meta FAIR,arXiv:2506.09985)
- LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics(Balestriero & LeCun,arXiv:2511.08544)
- A Path Towards Autonomous Machine Intelligence(LeCun,2022,JEPA 的原始蓝图)
- Droid: A Large-Scale In-the-Wild Robot Manipulation Dataset(RSS 2024,V-JEPA 2-AC 的后训练数据来源)
- Masked Autoencoders Are Scalable Vision Learners(MAE,CVPR 2022,arXiv:2111.06377)
- VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning(ICLR 2022,arXiv:2105.04906)
- Bootstrap Your Own Latent(BYOL,NeurIPS 2020,arXiv:2006.07733,EMA 目标网络与 stop-gradient 的早期实践)
- Cosmos World Foundation Model Platform for Physical AI(NVIDIA,arXiv:2501.03575,V-JEPA 2 规划实验的对照基线)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



