具身智能🔥7.0

inr2action:将机器人任务片段编码为神经隐式表示以实现回忆与动作

原标题: inr2action:将机器人任务片段编码为神经隐式表示以实现回忆与动作

arXiv cs.RO 论文·2026/10/22 04:00:00🔗 原文

📋总体概括

arXiv预印本inr2action提出一种参数空间记忆框架:将机器人执行的长时程任务片段视频拟合为神经隐式表示,其相对于共享元学习初始化的权重增量即作为该片段的记忆单元。无论片段是一百帧还是十万帧,权重增量大小恒定,实现与执行时长无关的记忆扩展。学习到的投影器把权重增量映射为token嵌入,同时驱动语言模型做问答、解码器做联合指令回归,查询时无需逐帧检索。在RoboMME基准上,语言模型在全部问题类型上超越随机水平,解码器平均R²达0.51,且以匹配噪声替换增量会导致性能下降,验证了增量承载真实信息。

⚡关键信息

  • ▸inr2action把每个机器人任务片段存储为可分离对象:神经隐式表示拟合片段视频后得到的权重增量即记忆
  • ▸权重增量大小固定,不随片段从百帧到十万帧的时长增长而膨胀,突破按时间扩展的记忆瓶颈
  • ▸学习投影器将权重增量转为token嵌入,同时条件化语言模型问答与解码器联合指令回归,查询时无需帧检索
  • ▸RoboMME基准上语言模型在所有问题类型上超过随机水平,解码器平均R²达到0.51
  • ▸消融实验用匹配噪声替换权重增量导致性能下降,证明增量编码了片段的真实信息而非拟合伪迹

🔥犀利点评

这类工作本质是在回答具身智能的老大难问题——长时程记忆怎么存。不走「存帧+检索」的老路,而是把整段经验压缩成一个固定大小的权重增量,思路接近把记忆当模型参数而非数据,确实优雅。但要泼冷水:R²只有0.51,RoboMME也只是仿真基准,真实机器人的感知噪声、非平稳环境会不会把这种低维压缩打回原形,论文没给答案。神经隐式表示拟合视频本身也是重活,在线部署的推理成本只字未提。方向值得追,离落地还远。

本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →