具身智能🔥8.0

当计划发生改变:面向VLA模型的再规划引导视觉记忆

原标题: 当计划发生改变:面向VLA模型的再规划引导视觉记忆

arXiv cs.RO 论文·2026/10/19 04:00:00🔗 原文

📋总体概括

arXiv论文提出RePlanMem-VLA,一种面向长时程、多阶段VLA策略的视觉记忆方法。其核心思路是把策略自身在滚动执行中相邻动作块预测的不一致程度作为在线记忆写入信号:当对齐的预测出现异常大分歧时,判定发生了任务相关事件并写入关键帧记忆,从而无需保留完整冗余历史观测。团队在从头训练的自回归decoder-only与Flow-Matching Transformer上对比了35种分歧度量方式,并在预训练模型上验证所选信号的有效性。

⚡关键信息

  • ▸提出RePlanMem-VLA:将策略的计划修订转化为在线记忆写入信号,替代完整观测历史。
  • ▸利用滚动时域执行中相邻动作块对同一未来动作的预测差异,检测任务相关事件。
  • ▸系统对比了35种预测分歧度量方式,覆盖自回归decoder-only和Flow-Matching Transformer两类架构。
  • ▸所选信号在预训练模型上进一步验证,面向长时程多阶段任务的记忆瓶颈问题。

🔥犀利点评

VLA的记忆问题被讲了很多年,多数方案是硬编码关键帧或粗暴压缩历史。这篇的聪明之处在于不引入额外监督信号,直接把策略内部的计划分歧当作免费的『事情不对劲了』探测器——模型改主意的那一刻,往往正是环境里关键信息出现或消失的时刻。35种度量的系统消融也算难得扎实。但从头训练的小模型验证与真实大规模预训练VLA的表现是否一致,仍是待检验的鸿沟。

本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →