机器人缺的不是眼睛，是记性

机器人按下一个按钮，四块垫子瞬间全空。它还能把积木放回原位吗？

OpenBMB 的 SimpleMemVLA 给出的答案是：70% 的成功率。这个数字不大，但意义重大——它测的不是识别，是记忆。

过去两年，具身智能圈把几乎全部筹码押在『看得准』上：更好的相机、更大的 VLM、更强的端到端策略。但一线做部署的工程师都知道一个尴尬的事实：机器人是金鱼，看完就忘。本周密集出现的三项工作——SimpleMemVLA、AIM、LEAP——恰好从记忆、物理推演、几何表征三个方向，敲打了同一个命题：

感知的军备竞赛快到头了，下一仗打的是『脑子内部』。

🧠 金鱼记忆测试：70% 背后的信号

先看最出圈的这个实验。

场景很刁钻：机器人先看到积木摆在四块不同颜色的垫子上，然后按下按钮——垫子瞬间清空，世界被『格式化』。此时它必须凭记忆把积木放回原位。

这类任务在学术上叫 Put Back Block，在工业上对应的是被严重低估的真实需求：暂态遮挡下的操作连续性。物流分拣时货物被推车挡住三秒，装配时零件被工装夹具盖住半分钟——人类的动作不会中断，机器人的策略却直接崩溃。

SimpleMemVLA 的做法反而『不高端』：没有外挂记忆模块，没有 RNN，没有新增的状态空间。它只是把带时间戳的历史视频帧，直接塞给视觉语言模型，让 VLM 自己决定哪些过去画面值得在当下重新使用。

官方报告的数据：四个初始位置共测试 40 次，成功 28 次，成功率 70.0%。

这个流程图里最关键的是最后那条回路——记忆是滚动更新的，不是一次性快照。

70% 意味着什么？意味着『能做但不可靠』，离产线要求的 99%+ 还差两个数量级。据多位接近 OpenBMB 的人士说法，团队自己也清楚这是概念验证而非量产方案。但方向判断很清晰：当 VLM 的上下文窗口足够长，『记忆』可能根本不需要是一个独立模块，它就是多模态输入的一部分。

这和当年 Transformer 吃掉 RNN 的逻辑一模一样——结构上的『专门设计』，往往会被规模化原生架构顺手解决。

🧺 叠衣服为什么比抓杯子难十倍

第二个方向，是所有做人形机器人的团队都在回避、又都躲不开的：软体物体。

抓刚性物体，位姿是六个自由度的刚体问题；叠衣服、摆盘食材，物体本身在你手里变形。形状即状态，控制形状和控制位置必须同时进行。

arXiv 上的 AIM（Adaptive Interaction Modeling）把 real-to-sim 软体仿真拆成了一个『局部-全局交互建模』问题，思路有三层：

• 局部层：用运动历史和几何信息，动态修正粒子间的关系——空间上相邻的粒子，形变上未必相关，传统图网络的假设在这里会累积局部误差；
• 全局层：几何条件化的全局通信，协调整个物体的响应，避免『扯了袖子忘了肩』；
• 训练层：统一运动学控制点接口表示不同操作配置，并用多步自回归监督让模型在自己的预测轨迹上训练——直面误差累积问题。

数据说话：相对 PhysTwin，未来预测跟踪误差降低 20.0%；跨六类物体，相对 PGND，长时程粒子平均误差降低 22.8%。同时支持跨动作、跨物体实例的迁移。

为什么要盯着这个看似冷门的方向？因为软体操作是家务机器人和食品加工自动化绕不开的墙。Fold 衣服这个 demo 每年都在各大发布会出现，年年翻车。谁能把软体形变预测误差压下来，谁就先摸到家政市场的门票——那是一个比工业场景大一个数量级的市场。

🎓 3D 监督的『富贵病』：训练靠它，部署甩掉它

第三个方向最反直觉，也最像量产思维。

LEAP 的出发点是：用特权 3D 几何信息（训练时能拿到、部署时拿不到的深度、点云）来指导纯 RGB 视觉运动策略学习。这个思路不新，但它发现了三个前人没治好的『病』：

1. 本体感知捷径——模型偷懒，从机器人自身状态反推答案，没真正学会看几何；

2. 主导视角依赖——过度依赖某一个相机视角，换机位就废；

3. 重建目标污染——重建损失被与任务无关的几何主导，学了一堆没用细节。

LEAP 的药方：辅助解码器只从视觉特征重建操作工作区内的点云，同时保留本体感知用于动作预测；引入腕部视角 dropout 和与保留视角匹配的部分重建目标，逼编码器学到互补的局部几何。推理时，辅助解码器直接删除——部署只留 RGB 和机器人状态， inference 速度零损失，参数量只小幅增加。

在 RoboTwin、ManiSkill 和真实世界任务上，相对 Diffusion Policy 和 ACT 都有一致且可观的提升。

注意第三列的共同点：这三个方案都没有增加部署成本。SimpleMemVLA 复用 VLM 上下文，AIM 是离线仿真侧的改进，LEAP 推理时甩掉辅助解码器。这不是学术炫技，是冲着『加能力不加钱』去的——这才是工程判断力的体现。

📈 三条线拧成一股：从『看见』到『想明白』

把三件事放在一起看，会发现一个清晰的技术栈分工：

过去的画面（记忆）决定你能不能处理遮挡；正确的几何表征（理解）决定你学到的策略是不是真本事；准确的形变推演（预测）决定你敢不敢做长时程任务。三层全绿，操作可靠性才能从 demo 级爬到产线级。

产业层面，这里有三个务实判断：

第一，VLM 上下文就是新的记忆架构。 别再给机器人外挂『海马体』了，历史帧 + 时间戳直接进上下文，让基座模型自己学筛选。谁家的 VLM 上下文更长、多模态检索更准，谁就赢下记忆这一仗。

第二，real-to-sim 会从『锦上添花』变成『数据工厂』。 软体仿真精度每提升 20%，合成数据的可用边界就往外推一大截。真机数据贵到离谱的当下，AIM 这类工作的商业价值可能比它自己声称的更大。

第三，『训练富贵、部署朴素』会成为标配范式。 特权监督、教师-学生蒸馏、辅助任务删除——这一套组合拳本质是把算力成本留在训练期，把推理成本压到地板。对盯着毛利的一级市场来说，这比多考了几个 benchmark 有说服力得多。

小结

机器人行业最爱讲『眼睛』的故事：相机、VLM、端到端。但 SimpleMemVLA 的 70%、AIM 的 20%、LEAP 的零减速部署，指向的是同一件事——下一轮具身智能的军备竞赛，在『看见』之后：记住过去、推演未来、学到真几何，而且不能让部署变贵。

2025 年看 Memory 和 real-to-sim，就像 2023 年看 VLM——今天的不成熟，就是明天的护城河。