机器人看懂了视频,却拧不动现实
百万小时人类操作视频让机器人转动了一把钥匙,但从看懂任务、预测画面到真正控制机械臂之间隔着动作标签缺失、构象差异与力控鸿沟三道坎。本文拆解视频预训练的技术管线、三条路线之争与兑现节奏,判断人类视频决定机器人能力下限,真机数据决定上限。
一百万小时的人类视频,让一台机器人缓缓转动了一把钥匙。演示视频刷屏之后,真正值得讨论的问题才刚刚开始:从看懂任务、预测画面,到真正控制机械臂,人类视频到底能替代多少昂贵的机器人训练数据?
本文的核心判断是:人类视频解决的是机器人的"常识"问题,解决不了"动作"问题。它决定了具身智能这条赛道的下限,但距离上限,还隔着数据、构象和力控三道门。
💡 转钥匙那一下,为什么值得刷屏
机器人学干活的第一课,原来藏在人类的摄像头里。
先把场景还原一下:一段演示视频里,机械臂对准锁孔,插入、旋 转、到位,动作连贯得不像传统示教机器人。之所以引起关注,不是因为"拧钥匙"这个动作本身有多难,而是训练方式——机器人并没有在真机上被人手把手教过几万次,它的先验知识,来自上百万小时的人类操作视频。
这件事的行业背景很清楚:机器人领域最稀缺的从来不是算法,是数据。自动驾驶有互联网级别的行车数据可以白嫖,NLP有整个互联网的文本,而机器人长期以来只能靠遥操作真机采集数据——每条几十秒的操作轨迹背后,都是真金白银的人工成本。据多位接近头部具身智能公司的人士透露,高质量真机遥操作数据的采集成本,一直是各家财务模型里最扎眼的一行。
于是"看人类视频"成了几乎唯一无限量供应的数据源。这条路线业内其实铺垫已久:
- 2022年,OpenAI 的 VPT 用约7万小时游戏视频训练出了会操作虚拟环境的策略,第一次证明了"视频学操作"的可行性;
- 2024年,斯坦福 的 UMI 用一个手持夹爪低成本采集数据,绕开了昂贵的机器人平台;同年的 HumanPlus 尝试让策略直接模仿人类视频中的动作;
- 同期,DeepMind 的 Genie 系列提出"潜在动作"概念,从不带标注的视频里反推出隐含的操作信号;字节跳动 的 GR-2 则用数千万级视频片段做预训练。
这次"百万小时"的尝试,本质上是这条技术路线的又一次集中兑现。整条管线可以概括为:
产业逻辑一句话:视频预训练解决"见过",真机微调解决"做到"。转钥匙的demo证明的,是前半段管线的成熟度——而后半段,才是问题的真正开始。
📊 百万小时,喂不出一个动作标签
数据量级上去了,数据密度却没跟上。
对比一下这条赛道上的几类数据,量级差异触目惊心:
| 数据类型 | 代表来源 | 典型量级 | 是否带动作标签 |
|---|---|---|---|
| 学术人类操作视频 | Ego4D 等数据集 | 约3700小时 | 否,仅画面 |
| 互联网规模视频 | VPT、GR-2 预训练集 | 7万小时至千万级片段 | 否,需自监督反推 |
| 本次百万小时人类视频 | 素材所述工作 | 约100万小时 | 否,任务级理解为主 |
| 真机遥操作数据 | 各具身智能公司自采 | 通常数百到数千小时 | 是,精确动作序列 |
看明白了吗?视频数据以"百万小时"计,真机数据以"千小时"计,但只有后者带着机器人真正需要的动作标签。百万小时的视频,本质上是一份没有答案的考卷。
具体拆开,视频到动作之间隔着三个鸿沟:
第一,没有动作标签。 视频里只有像素,人手动了几毫米、用了几牛顿的力,画面里没有。潜在动作模型只能反推出粗粒度的"动了",推不出"怎么动的"。
第二,构象差异。 视频里是五根手指的人手,机器人端是两指夹爪或灵巧手,自由度、接触面积、力量曲线完全不同。人手拧钥匙的细节,夹爪照抄不了,只能"学个意思"。
第三,视角差异。 人类视频多是第三人称或随手拍摄,机器人依赖的是第一人称本体视角,两者之间存在系统性偏差。
所以"转钥匙"这个里程碑挑得很聪明,也很诚实——它是一个接触密集、需要精细力控的任务,能跑通说明管线有效;但它同时暴露了瓶颈:真正卡住机器人的,恰恰是视频里最看不见的东西——力。据业内私下流传的说法,不少demo和量产之间隔着的,就是一个"力"字。
产业逻辑:人类视频是"预训练语料",不是"训练数据"。这个定位想清楚了,各家烧钱的姿势才不会变形。
🗺️ 三条路线吵了两年,视频把牌桌搅了
看视频学活儿,抢的是谁的饭碗?
具身智能的技术路线之争,业界已经吵了两年,主要玩家分布在三个阵营:
VLA端到端派,以 Physical Intelligence 的 π0、英伟达 的 GR00T 为代表,思路是视觉-语言-动作一体化大模型,靠规模化真机数据堆能力;视频与世界模型派,以 Genie 和各类视频生成模型为代表,主张让机器人"在脑内预演",用预测画面替代部分真机试错;真机数据派,以自建数据工厂的整机厂为代表,坚信数据质量高于一切。
人类视频预训练的加入,没有取代任何一派,反而让三派的边界变得模糊——因为它天然是其他路线的底座:VLA派拿它做预训练,世界模型派拿它学物理常识,真机数据派拿它降低对遥操作数据量的依赖。把当前主要路线放到技术门槛和商业价值两个维度上看:
注意右上角和右下角的分野:遥操作数据工厂技术门槛不高,但谁能低成本、高质量地产出真机数据,谁的商业价值就最实——这解释了为什么数据采集本身正在变成一门独立的生意。而人类视频预训练技术门槛不低,商业价值处于"水位快速上涨"区间:它自己不落地,但它决定所有落地路线的成本曲线。
产业逻辑:这不是路线之争,而是范式之争——机器人行业正在复刻NLP走过的路,"无标注海量数据预训练+少量高质量数据微调"的配方,正在被原样搬进物理世界。谁先跑通这个配方的具身版,谁就拿到了下一个阶段的门票。
⚠️ 从钥匙到产线,还差三道门
Demo的高光时刻,往往离产线最远。
从转钥匙到真正的商业落地,业内普遍认为还要过三道门:
第一道门是力与接触。 分拣、插拔、装配这些工业高价值场景,全是接触密集型任务,误差以毫米和牛顿计。视频能教会机器人"钥匙在哪、往哪转",教不会"用多大力、卡住了怎么办"。
第二道门是评测。 具身智能至今没有公认的、可比的评测基准,demo视频存在天然的选择偏差——你看到的成功案例,是几百次失败里剪出来的那一次。据接近多家实验室的人士称,同一任务在不同团队口径下的成功率,差距可以达到量级。
第三道门是工业节奏。 工业客户不看演示看良率,不看单次成功看连续千次的稳定性,节拍要求精确到秒。这类指标,视频预训练暂时无能为力。
把各家动作和行业节奏放在一起看,这条路线的兑现窗口大致是这样的:
节奏判断:短期(1-2年)兑现点在工业分拣、上下料这类"容错高、节拍松"的场景;中期扩展到物流、巡检;家庭场景最远,因为非结构化环境的长尾是视频预训练理论上最擅长、但工程上最难闭环的地方。
产业逻辑:视频预训练改变了数据成本的斜率,但没有改变落地场景的选择顺序——依然是"从结构化到非结构化,从高容错到高精度"。对创业公司来说,与其押注视频路线本身,不如想清楚自己在"视频先验+真机对齐"的管线里,卡住哪一环。
小结
回头看这把被机器人转动的钥匙:人类视频教会机器人"世界是什么样",遥操作数据教会它"具体怎么做",力反馈教会它"分寸在哪里"。百万小时视频解决的是从零到一的常识冷启动,让真机数据的边际成本大幅下降——但它不是终点,而是起点。
接下来值得盯的信号有三个:潜在动作模型的粒度能否从"任务级"细化到"力控级";行业级评测基准能否建立;以及视频预训练的收益能否在真实客户的良率报表上被验证。看懂了这三件事,就看懂了具身智能下半场的计分板。