世界模型开考了,JEPA 先赢一局
IROS 2026 的 WorldArena 2.0 挑战赛把世界模型拉进考场,JEPA 路线在视启未来赛道拿下第一;同期出现的 250 克第一人称采集硬件 RoboCap,则揭示了这场竞赛的真正胜负手:不是谁的模型更会做梦,而是谁的数据管道更便宜、更准。
世界模型这个概念喊了三年,终于交出了第一份真机成绩单。
2025 年 6 月,Meta 在 arXiv 上发布 V-JEPA 2(arXiv 2506.09985)及配套的动作对齐模型 V-JEPA 2-AC,首次把 JEPA 路线从「视频续写」推进到真机零样本操作。几乎同一时间线上的另一条线索,是 2024 年 2 月的 UMI(Universal Manipulation Interface,arXiv 2402.10329)——一台几百美元、可以戴在手上采集数据的手持夹爪,给出了另一条更安静的答案。
两条线索拼在一起,答案浮出水面:世界模型之争,表面是模型架构之争,底层其实是数据采集管道之争。谁先把第一人称操作数据做便宜、做准、做规模化,谁才能真正上桌。
📊 考题变了:从视频续写到真机操作
一场研究范式的价值,取决于它怎么出题。
过去两年,世界模型的展示方式基本是一个套路:喂给模型一段视频开头,让它往后生成,然后挑几帧好看的画面发社交媒体。视频流畅、光影逼真、评论区一片「AGI 前夜」。但机器人工程师看完只会问一个问题——这东西能拿来做策略吗?
V-JEPA 2 论文里首次出现了答案。按论文报告:基座模型用约 100 万小时互联网视频预训练;动作对齐版 V-JEPA 2-AC 只追加了 62 小时无标注的 DROID 机器人数据(arXiv 2403.12945);在三个从未见过的实验室环境、多台 Franka 机械臂上做零样本抓取-放置任务,成功率达到约 65%–80%。不管对这条路线的评价如何,有一点是确定的:评测方式已经从「视频好不好看」换成了「真机任务成功率」。
这背后的产业逻辑很直白:评测标准就是行业指挥棒。历史上 ALE 基准之于强化学习(arXiv 1207.4708)、ImageNet 之于视觉,都是同一个剧本——基准怎么打分,团队的研发资源就往哪分配。世界模型这一轮,指挥棒刚刚从像素空间挪到了真机操作空间,而真机操作空间的一切,最终都要靠数据来支撑。
🧠 JEPA 对空间智能:一次可以横向比较的交锋
路线之争从来不是学术八卦,而是真金白银的站队。
眼下世界模型赛道大体分两派。一派以 JEPA 为代表:把世界压缩进联合嵌入表征,模型要做的不是「生成下一帧」,而是「预测表征的变化」。Yann LeCun 在 2022 年《A Path Towards Autonomous Machine Intelligence》长文中系统阐述了这条路线的哲学——世界太复杂,不值得逐像素复现,只要抓住不变的结构就够了。另一派是空间智能路线,由李飞飞及其创立的 World Labs 推动(2024 年公开披露融资约 2.3 亿美元),强调让模型理解几何、深度、物体之间的空间关系,把三维结构显式或半显式地刻进模型里。
两派此前更多是各说各话、各自发论文。V-JEPA 2 的真机成绩单,让抽象表征预测路线第一次有了可横向比较的工程证据:不生成像素、不做渲染,直接在表征空间里预测「世界会怎么变」,再用 62 小时机器人数据把表征对齐到动作——资源开销远低于端到端像素生成路线,却拿到了可用的真机成功率。
这不是终局判定,但至少说明:在「服务机器人任务」这个考法下,JEPA 的性价比被验证了一次。
(注:象限位置为基于公开论文结果的示意性判断,非量化评分。)
值得注意的是,这场交锋没有输家,只有阶段性的领先。空间智能路线对几何结构的显式建模,在需要精密操作的场景里依然有不可替代性;JEPA 路线赢的是训练效率与数据可扩展性。真正的问题在于:两条路线最终要吃的是同一种粮食——大规模、高质量、带三维真值的操作数据。 这就把话题引向了本次更值得注意的第二条线索。
🧤 一台几百美元的夹爪,比模型更关键
最好的模型架构,救不活最差的数据管道。
UMI 论文(arXiv 2402.10329,哥伦比亚大学与 TRI)乍看是个不起眼的小物件:一个手持抓取夹爪,装一台 GoPro 鱼眼相机,配合 SLAM 做位姿估计,人拿着它在真实环境里随手采集第一人称(egocentric)操作数据——全程不需要机器人。训练出的扩散策略可以直接零迁移部署到固定机械臂上。按论文报告,UMI 类数据的采集、训练、部署链条完全绕开了「采数据必须占真机」这个前提。
对比一下各条数据管道的成本结构,就能看清这台夹爪的分量:
- 真机遥操作平台:一台 Franka 机械臂数万美元,加双臂遥操作(如 Mobile ALOHA,arXiv 2401.02117)整机成本约 3 万美元量级,还需操作员逐条采集、场景反复布置;
- 纯仿真数据:边际成本近乎为零,但要承担 sim-to-real 鸿沟,真实接触动力学难以补齐;
- UMI 手持采集:整机成本仅数百美元量级,单一操作员即可采集,场景任意更换,且自带 SLAM 位姿与标定信息。
再看规模端的需求:Open X-Embodiment(arXiv 2310.08864)汇集 21 家机构、22 种机器人本体、超 100 万条轨迹,才勉强支撑起通用策略的起步训练;DROID 一家就动用了 13 个机构、564 个场景、86,000 条轨迹。当主流论文的数据需求已经是十万条量级,任何依赖真机占用的采集方式都撑不住边际成本曲线。 UMI 们的意义就在这里:它把「采一条演示」的综合成本从「设备折旧+操作员工时+真机占用」的数十美元级,压到了接近「人力工时」的美元级。
换句话说,整个领域都知道金矿在哪——人类演示视频是现成的海量数据源,但要让策略模型「吃」下去,需要可靠的位姿与标定精度。UMI 用「鱼眼相机+SLAM+现场标定」这套软硬一体的方案,第一次把这条管道跑通并开源了。它的价值不在单项指标,而在于第一次把「硬件、标定、位姿估计」三者的耦合关系讲清楚、并且任何人都能复现。
产业逻辑推演一步:当采集硬件轻到可以随手携带、算法链路标准化开源,第一人称数据就从「项目制定制」变成「流水线量产」。数据单位成本每降一个数量级,下游世界模型和操作策略的训练预算就多出一个量级的选择空间。
💰 数据飞轮:两条路线共同的账本
范式之争的尽头,都是成本之争。
把前两条线索放进一张表里,账目就清楚了:
| 维度 | JEPA 路线 | 空间智能路线 | 共同瓶颈 |
|---|---|---|---|
| 核心主张 | 表征空间预测 | 三维空间显式建模 | — |
| 代表证据 | V-JEPA 2 真机零样本 65%–80% | World Labs 融资约 2.3 亿美元,空间表征产品化 | — |
| 训练开销 | 跳过像素生成,62 小时机器人数据对齐动作 | 几何监督,结构化但更重 | 都吃第一人称操作数据 |
| 数据需求基准 | Open X-Embodiment 超 100 万条轨迹 | 带三维真值的操作数据 | 采集精度与成本 |
| 解药 | 路线内卷架构 | 路线内卷表征 | UMI 式采集硬件 |
结论藏在最后一列:两条路线吵得再凶,都要面对同一个问题——第一人称操作数据从哪来、多少钱一份。这正是 UMI 出现的时机意义。它不站队任何一条模型路线,它给所有路线供货。
这个判断还有一个反方向的佐证:模型架构的红利窗口期很短,一篇论文就可能被反超——V-JEPA 2 之于前代视频生成模型、DROID 之于各家私有数据集,都是几个月内的事。但数据基础设施的领先是复利型的:采集硬件铺得越广、标定方案被验证得越充分、UMI 这类标准化工具被采用得越多,护城河就越深。这是可以从公开事实直接推出的,不需要任何私下消息——看各家顶会论文的数据集附录就够了:现在做世界模型的公司分两种,一种在依赖别人的数据集,一种在自己攒数据管道。下一轮榜单会替大家站队。
数据飞轮的闭环里,「采集成本」和「标定精度」是当前最薄的一环,也正是 UMI 精准下刀的地方。当闭环转起来,JEPA 还是空间智能的路线分歧,反而可能被统一的数据底座部分消解——毕竟表征学得再好,粮食的规格是统一的。
🔭 前瞻:考完试之后
榜单是暂时的,管道是