具身智能🔥9.0
StereoEngine：无需立体相机即可规模化扩展双臂机器人立体数据
原标题: StereoEngine：无需立体相机即可规模化扩展双臂机器人立体数据
📋总体概括
研究团队提出StereoEngine，一种无需实体立体相机即可规模化合成双臂机器人操作立体数据的方法。它包含两条技术路线：一是基于估计深度将单目左视角视频经几何变换生成右视角，并用视频扩散模型修补遮挡区域；二是另一互补合成方式，从而将海量单目演示数据「升级」为立体数据对。这直接回应了立体视觉日益被纳入VLA模型、但真实世界立体数据严重匮乏的核心瓶颈——以往立体监督基本只能依赖仿真或为VR、自动驾驶设计的生成方法，无法覆盖机器人操作场景。
⚡关键信息
- ▸StereoEngine无需立体相机，可将单目演示数据合成为机器人操作用的立体数据对
- ▸第一条路线：用估计深度将单目左视角视频warp到右视角，再用视频扩散模型修补遮挡区域
- ▸此前无工作能为机器人操作生成逼真合成立体数据，立体监督主要来自仿真
- ▸面向VR和自动驾驶的单目转立体生成方法不适用于机器人操作场景
- ▸立体视觉正被越来越多地集成进VLA模型，但大规模真实立体数据集是扩尺度的根本瓶颈
🔥犀利点评
数据是VLA的命门，立体数据更是命门中的命门——没有真机双目相机采集，立体策略永远只能在仿真里自嗨。StereoEngine的思路很务实：与其逼大家给每台双臂机器人装立体相机，不如用深度估计加扩散修补把存量单目数据「洗」成立体数据，成本近零、可复用海量历史演示。真正要追问的是warp加inpaint的右视角在快速操作、反光、透明物体下的伪影水平——合成数据逼真度不够，练出的策略照样翻车。但方向对了：把数据瓶颈从硬件采集问题转化为生成模型问题。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 arXiv cs.RO 论文 阅读全文 →