具身智能🔥7.0
VLA模型中的测试时训练:探索用人类演示进行训练
原标题: VLA模型中的测试时训练:探索用人类演示进行训练
📋总体概括
一项发布于arXiv的新研究将测试时训练(TTT)机制——通过快权重存储上下文——集成到InternVLA-A1和Pi0.5两个VLA模型中,探索机器人能否在长时程任务中基于人类演示视频生成动作。研究实现了两阶段间的记忆迁移与截断反向传播,并在视频、短视频、单帧线索任务上测试了训练目标、梯度覆盖和对比正则化。然而实验结论偏负面:在当前规模下,加入TTT和配对数据训练未能实现一致的演示目标选择,更短序列、全轨迹梯度连通及对比正则化也未明显改善响应能力。这是一份坦诚的负面结果研究,对VLA领域的上下文记忆路线具有参考价值。
⚡关键信息
- ▸研究将测试时训练(TTT)机制集成到InternVLA-A1与Pi0.5两个VLA模型中
- ▸TTT通过快权重存储上下文,用于长时程任务中保留和利用历史信息
- ▸实现了演示与机器人轨迹配对数据训练、两阶段记忆迁移和截断反向传播
- ▸实验显示当前规模下TTT+配对数据训练未能带来一致的基于演示的目标选择
- ▸更短序列、全轨迹梯度连通性和对比正则化均未明显改善对演示的响应
🔥犀利点评
VLA圈天天吹scaling law和涌现,这篇偏要老老实实报阴性结果,反而比一堆灌水论文更有信息量。TTT把上下文存进快权重的想法很性感,但作者用实验证明:在当前模型规模和数据量下,人类演示到机器人动作的映射根本学不出来。这说明具身智能的瓶颈可能不在架构花样,而在配对演示数据的规模与质量。敢发负面结果本身就是对领域的一剂清醒剂。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →