具身智能🔥8.0
COWBOY:面向上下文全身操作学习的可扩展Sim-to-Real框架
原标题: COWBOY:面向上下文全身操作学习的可扩展Sim-to-Real框架
📋总体概括
arXiv论文2610.28948提出COWBOY,一个面向移动操作机器人的可扩展Sim-to-Real框架,解决机器人如何根据空间场景上下文决定底盘停放位置、操作方式与视线朝向的问题。框架采用分层设计:向量化场景感知的全身控制器(WBC)负责协调底盘-机械臂运动、避障与主动视觉以完成够取,局部RL专家则在局部场景中学习物体交互。在全身灵巧抓取任务上,COWBOY可零样本迁移到数百种物体及杂乱桌面、货架、抽屉等真实非结构化场景。
⚡关键信息
- ▸COWBOY是面向移动操作器的Sim-to-Real框架,核心是学习场景上下文相关的全身操作策略
- ▸采用向量化环境感知全身控制器(WBC)协调底盘-机械臂运动、碰撞避免与主动视觉,覆盖数千个场景的够取
- ▸局部RL专家在局部场景中训练,专门负责物体交互,避免直接用RL在仿真中学习场景适应
- ▸在全身灵巧抓取任务上实现零样本迁移至数百种物体与多样化真实场景
- ▸验证场景涵盖杂乱桌面、货架、抽屉等非结构化环境
🔥犀利点评
移动操作最难的从来不是抓个物体,而是知道该把车停哪、往哪看——COWBOY把『场景上下文』明确作为学习目标,这是对多数只做物体级操作研究的降维打击。分层设计也很务实:WBC用向量化仿真硬刷数千场景的够取,RL只管局部交互,既省算力又好迁移。但零样本到『数百物体』不等于全场景鲁棒,抽屉深处、光照剧变下的表现仍是未知数,落地前还得看真实硬件上的失败率。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →