具身智能🔥8.0
Real2Sem2Real：基于单段人类RGB演示的3D语义增强机器人学习方法
原标题: Real2Sem2Real：基于单段人类RGB演示的3D语义增强机器人学习方法
📋总体概括
伯克利等机构研究者提出Real2Sem2Real（R2Sem2R）管线，仅需一段人类演示的单目RGB视频，即可生成覆盖整个类别语义实例的数千条机器人示教数据。系统用DINOv3蒸馏的高斯泼溅跟踪物体SE(3)位姿，超越FoundationPose等现有方法，再通过语义对齐将数字表亲物体（含功能区域如咖啡机托盘）映射到演示物体上，大幅降低机器人模仿学习的数据采集门槛。
⚡关键信息
- ▸R2Sem2R只需一段人类单目RGB演示视频，无需机器人硬件、深度传感器或2D叠加，即可生成数千条机器人示教数据
- ▸采用DINOv3蒸馏的高斯泼溅跟踪每个物体的SE(3)位姿，在指标深度估计下性能超越FoundationPose等基线方法
- ▸从一至几张照片生成「数字表亲」物体，通过语义对齐匹配整体物体及功能区域，如咖啡机的接液托盘
- ▸生成数据可泛化到同类别的其他语义物体实例，突破以往方法只能针对演示物体生成数据的局限
🔥犀利点评
这个方向的价值在于把模仿学习的数据成本打到了「一段手机视频」的级别，直接绕开机器人遥操作采集的高昂成本。用高斯泼溅做SE(3)跟踪超过FoundationPose说明精度不是纸上谈兵，但真实效果如何还得看跨实例泛化后策略成功率是否真实可复现——合成到真实的sim-to-real gap老坑，谁都要再踩一遍。若真能落地，数据瓶颈又松了一扣。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 arXiv cs.RO 论文 阅读全文 →