具身智能🔥7.0
ACG-WAM：基于动作条件几何潜在预测的世界-动作建模
原标题: ACG-WAM：基于动作条件几何潜在预测的世界-动作建模
📋总体概括
研究者提出ACG-WAM及其辅助目标ACG-JEPA，一种世界-动作建模框架。针对现有世界动作模型中视频与动作损失缺乏对动作几何后果的显式监督、且时序注意力后的视觉特征可能泄露未来信息这两大问题，该方法从当前观测和介入动作出发，在多个时间尺度上预测几何特征，并用冻结VGGT编码的future槽位作为预测目标，监督信号来自头部和腕部相机，用于策略学习。
⚡关键信息
- ▸提出ACG-WAM世界-动作模型，联合学习视觉预测与机器人动作
- ▸辅助目标ACG-JEPA显式预测动作序列的几何后果，弥补视频/动作损失无几何监督的缺陷
- ▸采用冻结VGGT编码图像对的future槽位作为预测目标特征
- ▸指出时序注意力后特征含未来信息，不适合作为辅助预测器当前视觉输入
- ▸几何预测覆盖多个时间horizon，监督信号来自头部与腕部相机
🔥犀利点评
世界模型做机器人策略不新鲜，但多数工作止步于视频生成式的模糊监督——像素对了不代表几何对了，抓取偏两厘米视频上根本看不出来。ACG-JEPA抓住的正是这个软肋：用VGGT的3D感知特征当目标，逼模型理解动作的空间后果。值得注意的是其自省：时序注意力后的特征会「偷看」未来，这暗示不少JEPA类工作可能存在信息泄露。思路扎实，但能否在真机泛化上兑现，还得看后续实验。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 arXiv cs.RO 论文 阅读全文 →