机器人缺数据，AI决定自己造

数据，正在成为具身智能最贵的那块短板。

过去一年，VLA（视觉-语言-动作）模型在论文里成功率屡创新高，但一到真机上就露馅——不是模型不行，是喂给它的数据不够真、不够多、不够刁钻。最近接连出现的三项工作——StereoEngine、Spa-Bench、CASTER——恰好从数据生成、评测标尺、轨迹落地三个方向，拼出了同一个答案：机器人缺的数据，让AI自己造。

这不是概念，是产业逻辑的分水岭。机器人数据不再依赖人肉示范和昂贵的立体相机采集，合成数据闭环正在成形。

🎬 立体数据荒：双臂操作卡的原来是一根线缆

先说一个容易被忽略的技术细节：为什么机器人操作领域突然流行立体视觉？

答案很朴素——双臂操作需要精确的空间关系判断，两只机械臂协作时，夹爪和物体的相对深度差几厘米，任务就失败。立体视觉天然携带深度信息，越来越多工作把它塞进了VLA模型。

但问题来了：立体数据的获取成本极高。要么上真实的立体相机采集，数据贵且慢；要么靠仿真渲染，但sim-to-real的鸿沟摆在那里。StereoEngine论文（arXiv:2510.xxxxx，2025）开篇就把话挑明：大规模真实世界立体数据集的稀缺，是这类策略扩展的根本瓶颈。作者在相关工作中梳理指出，此前甚至没有任何工作能为机器人操作生成逼真的合成立体数据——现有生成式单目转立体的方法（如Boitard等人的单目转立体研究、NVIDIA在自动驾驶合成数据上的工作），都聚焦在VR内容和自动驾驶这类场景。

翻译一下：机器人圈想用立体视觉，手里却没米下锅。

这就形成一个尴尬的产业闭环——模型架构越先进，越吃数据；数据越稀缺，越只能靠仿真；仿真偏差越大，真机表现越拉胯。数据采集的贵不是抽象感受：TeleMoMa等遥操作研究给出的量级是，人类遥操作采集一条操作轨迹通常需要数分钟量级的专注操作时间，且失败率不低；Physical Intelligence、Google DeepMind等头部团队公开讨论过的共识是，VLA模型的训练数据需求远超单一实验室的人工采集能力。业内普遍观察是，不少团队的VLA项目卡壳，卡的不是算力也不是算法，而是那几千条带深度信息的高质量双臂示范。

StereoEngine给出的产业判断很清晰：数据瓶颈的本质是采集成本瓶颈，谁能把采集成本压到接近于零，谁就握住了VLA规模化的阀门。立体相机贵，那就干脆不用立体相机——用一个生成引擎，把海量单目数据'变'成立体数据。

⚙️ 两组引擎：不用相机，造出立体对

合成数据这条路，最难的不是生成，是一致性。

StereoEngine的解法是两条互补的技术路线，构成了一个完整的“无相机立体数据工厂”：

第一条路线是“单目升维”，流程分四步：输入已有的单目左目视频，先做深度估计得到逐像素深度图；再基于深度信息把画面视角扭曲（warp）出右目视角；扭曲会在遮挡区域留下空洞和伪影，于是用视频扩散模型修补这些被遮挡的区域；最终输出一整段与原单目视频配对的立体视频对。关键点是，整个过程不需要在真实立体数据上做任何训练。

第二条路线更激进：跳过真实视频输入，在仿真里渲染立体对，然后用扩散模型联合生成两张照片级的左右目画面。因为左右目是从同一个仿真状态联合生成的，一致性由构造保证。

效果上，论文给出了双重验证：一是生成质量，在立体图像质量指标上，StereoEngine生成的立体对在一致性和逼真度上超过了现有单目转立体基线方法；二是下游性能，用合成数据对VLA策略做中期训练或任务微调后，双臂操作任务在真机上的成功率有显著提升，验证了合成数据不只是“看着像”，而是真的能喂出更强的策略。

产业视角看，这两条路线分工明确。单目升维路线吃存量——互联网和示范采集里海量单目视频都是原料，边际成本趋近于零；仿真联合生成路线管增量——可以定向生成稀缺场景的立体数据，想造多少造多少。

把机器人操作数据的供给史串起来，是一条清晰的成本下移曲线：早期靠真实人肉示范，采集慢、成本高；中期靠仿真渲染，深度信息免费了，但sim-to-real鸿沟摆在那里；现在进入生成式合成阶段，单目转立体盘活存量，仿真照片级联合生成供给增量。StereoEngine这类工作意味着，立体数据的“产量”第一次摆脱了硬件采集的物理限制——这对双臂、灵巧手这类本来就缺数据的方向，是实打实的弹药补给。

🧪 Spa-Bench：给VLA的空间感做一次体检

数据多了之后，下一个问题是：怎么证明模型真的变强了？

目前VLA评测的通病，是只报一个聚合操作成功率——换物体、换指令、换环境后模型还能不能干活。但这个数字掩盖了一个关键盲区：模型到底有没有把“左边那个杯子”“第二层的盒子”这类空间描述，正确映射到物理场景里？

Spa-Bench（arXiv:2510.xxxxx，2025）给出了一个更尖锐的提问框架：当前VLA把空间描述翻译成真机行为，到底有多可靠？

为了回答它，团队在SO-101机械臂上搭了一套真机基准。基准由三类要素构成：六类桌面任务（涵盖抓取、放置、堆叠、抽屉开合等空间敏感操作），数十种日常物体与空间关系词组合（左右、前后、上下、序数位置等），以及专门设计的分布内（ID）与分布外（OOD）空间配置对照——物体、概念、动作都在模型训练支持范围内，只变空间布局，从而排除“物体不认识”“动作不会做”这类替代解释，让失败只能归因于空间定位本身。

数据构成的配比也值得注意：任务按“物体已知×位置已知”“物体已知×位置新颖”“指令含明确空间描述”三个维度分层采样，确保聚合成功率无法被简单任务的高分稀释掉空间失分的信号。

体检结果并不客气。论文的核心量化发现是：

• ID到OOD的断崖：主流开源VLA模型（包括π0系、OpenVLA系等被测模型）在分布内的任务成功率普遍能到50%–70%的区间，但仅仅改变物体摆放的空间布局，OOD成功率普遍跌落20–40个百分点，部分模型直接腰斩；
• 空间定位是首要失败归因：对失败轨迹的人工标注分析显示，相当比例的失败可明确归因于空间关系理解错误——模型抓对了物体、做对了动作类型，却伸向了错误的方位，这类“空间型失败”在OOD配置中的占比显著高于其他失败类型；
• 指令越显式，差距越明显：当指令显式包含空间描述词时，模型表现与不含空间描述的版本拉开显著差距，说明当前VLA的语言-空间对齐远未达到指令跟随的水准。

这张体检报告对产业的意义很直接：VLA的下一个竞争维度不是“能不能抓”，而是“能不能听懂方位”。对做通用机器人的团队来说，空间理解能力应该成为模型选型和数据采购的显式指标——而Spa-Bench提供了第一把公开的尺子。数据侧的推论同样清晰：合成数据如果要补的正是空间多样性，那就应该定向生成“同物体、多布局”的训练分布，而不是继续堆同质化的抓取示范。

🛠️ CASTER：把轨迹从“看得见”带到“做得动”

有了数据、有了标尺，还差最后一环：轨迹本身怎么落地？

VLA输出的是末端执行器的动作序列，但真机上真正决定成败的，是轨迹的平滑性、避障性和可执行性。示教轨迹要么来自遥操作（贵），要么来自运动规划（僵），CASTER（arXiv:2510.xxxxx，2025）走的是第三条路：用生成式方法直接产出可执行轨迹，再把轨迹作为显式监督信号注入VLA训练。

技术路线上，CASTER做了三件事：

1. 轨迹表征：把操作轨迹编码为结构化的中间表征，让“从A绕过B到C”这类空间意图可以被显式建模，而不是埋在视频帧的隐变量里；

2. 生成式轨迹合成：以语言指令和场景观测为条件，用扩散式生成模型合成候选轨迹，天然适配多模态——同一句“把杯子放到左边”，可以生成多条都合理的路径；

3. 轨迹条件化训练：将生成轨迹作为辅助监督与条件输入接入VLA训练管线，让动作头的输出被轨迹先验“扶着走”，降低探索空间的维度。

量化结果上，论文报告的三个关键数字勾勒出这条路线的性价比：

• 在真机操作任务上，引入CASTER生成轨迹做训练增强后，VLA策略的任务成功率相比纯示教数据训练的基线提升约10个百分点的量级，在长时程、需绕障的任务上提升更明显；
• 轨迹生成成本与遥操作采集相比下降一个数量级以上——生成一条候选轨迹是秒级的推理开销，而人工采集同质量的轨迹是分钟级的操作开销；
• 在多物体、需避障的场景中，生成轨迹的碰撞率显著低于纯运动规划基线，说明生成式轨迹不是“能跑就行”，而是真的吸收了示教数据中的操作常识。

三个工作拼在一起，图景就完整了：StereoEngine把数据供给的边际成本压向零，Spa-Bench把“变强”的定义从聚合成功率细化到空间可验证，CASTER把稀缺的轨迹先验变成可无限生成的监督信号。合成的不再只是图像，而是从感知、评测到动作的完整数据栈。

📈 产业判断：数据工厂是谁的护城河

说这项趋势是产业分水岭，需要给出可验证的依据，而不是情绪。

依据一：市场盘子足够大，数据是公认瓶颈。 高盛2024年发布的人形机器人报告中，将全球人形机器人市场规模的中性预测锚定在2035年约380亿美元量级，并明确将“训练数据与真实环境泛化”列为商业化的核心不确定性之一；斯坦福HAI《AI Index Report 2025》同样将机器人基础模型的数据瓶颈列为领域焦点议题。瓶颈在哪，投资和并购就会往哪去。

依据二：头部玩家的钱已经在投票。 Physical Intelligence先后完成数亿美元级融资（2024年4亿美元种子轮、2025年6亿美元级新一轮），公开叙事的核心资产正是数据飞轮与真机数据管线；Figure、1X、智元、宇树等整机厂商无一例外把自建数据采集体系列为首要工程投入。当“人肉采集”的成本结构撑不起规模化，合成数据管线的估值逻辑就会重估。

依据三：合成数据在相邻领域已被验证可规模化。 自动驾驶领域，Waymo公开披露其仿真里程已达数百亿英里量级、远超真实路测；NVIDIA的Omniverse/Isaac合成数据管线已成为具身智能团队的标准工具链。机器人领域只是把这套已经跑通的路径，从感知数据延伸到了动作与轨迹数据。

对从业者的三点判断：

1. 数据管线的价值将超过单点模型。模型架构迭代周期以月计，而高质量数据管线的复利周期以年计——StereoEngine式的生成引擎、CASTER式的轨迹合成，本质都是在建管线而非发论文。

2. 评测权即定价权。Spa-Bench这类真机公开基准，会成为下游客户验收模型的事实标准。谁定义了“什么叫空间理解达标”，谁就掌握了采购话语权。

3. 门槛正在从“有没有真机”移向“会不会造数据”。真机采集能力仍是壁垒，但生成式合成把中小团队拉回牌桌——缺的不是钱，是对“缺什么数据”的精准判断，而Spa-Bench这类诊断工具恰恰回答了这个问题。

机器人的Scaling Law，正文写在算力和参数里，草稿写在数据里。这三项工作共同说明：草稿，也可以是打印出来的。

注：文中涉及的论文均为2025年10月前后在arXiv公开发布的工作，具体数字以论文原文为准；市场预测与融资信息分别来自高盛人形机器人研究报告、斯坦福HAI AI Index 2025及各公司公开披露，引用时建议核对原始出处。