具身智能🔥7.0

重新思考世界-动作模型:面向组合式与上下文学习机器人操作

原标题: 重新思考世界-动作模型:面向组合式与上下文学习机器人操作

arXiv cs.RO 论文·2026/10/5 04:00:00🔗 原文

📋总体概括

arXiv预印本提出ViGAR(视觉目标条件动作推理),针对长时程组合式操作任务,将现有世界-动作模型(WAM)只做短时程视觉预测与动作联合生成、缺乏子任务级推理的问题,重构为分层架构:子目标规划器根据当前观测和全局指令预测下一子任务的视觉子目标,执行器再在该子目标条件下联合生成未来视觉轨迹与动作。两个模块共享预训练世界模型表征,使任务级规划与动作生成相互促进,提升了真实机器人部署中多子任务协同操作的能力。

⚡关键信息

  • ▸提出ViGAR框架,将操作任务分解为视觉子目标规划器与子目标执行器两层结构
  • ▸针对现有世界-动作模型缺乏显式子任务级推理的短板,聚焦长时程组合式操作
  • ▸子目标规划器依据当前观测与全局指令预测下一子任务的视觉子目标
  • ▸子目标执行器在子目标条件下联合生成未来视觉轨迹与动作
  • ▸两个组件共享预训练世界模型表征,实现规划与动作生成的协同增益

🔥犀利点评

世界模型与动作模型合体的WAM路线火了一年,但大家心知肚明:短时程视频预测得再漂亮,任务稍微一长就露馅。ViGAR的解法并不新颖——视觉子目标分解是VoxPoser时代就在讲的旧故事——但它把子目标规划塞进世界模型表征里共享,算是把「分层」和「世界模型」两条路线真正焊在了一起。值得留意的是摘要止于框架与动机,实验数据未见分晓,是真突破还是又一轮概念包装,得看后续基准结果说话。

本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →