具身智能🔥8.0
游戏中的缩放：面向具身智能体的多虚拟世界继续预训练
原标题: 游戏中的缩放：面向具身智能体的多虚拟世界继续预训练
📋总体概括
一项arXiv研究系统检验了继续预训练（CPT）在虚拟世界具身智能体上的缩放规律，通过120组训练配置，覆盖0.8B至27B四种模型规模、50至1600小时六档数据预算、五种数据混合方案，评估从语料内世界到未见世界的泛化能力。结论表明数据量提升语料内表现，而数据多样性是跨视觉风格、动力学与控制方式泛化的关键，为游戏与虚拟环境中具身智能的数据策略提供了可控实验依据。
⚡关键信息
- ▸研究围绕继续预训练CPT展开， controlled study 覆盖数据量、多样性与模型规模三条缩放轴
- ▸共120组训练配置：4种模型规模（0.8B到27B）、6档数据预算（50到1600小时）、5种数据混合方案
- ▸评估采用三级验证损失与游戏玩法基准，范围从语料内世界延伸到未见过的世界
- ▸结论一：更多数据可提升语料内世界（如Minecraft）的性能表现
- ▸核心问题：视觉风格、动力学、控制与目标各异的虚拟世界中，物理世界的缩放收益是否仍成立
🔥犀利点评
这类受控缩放研究比刷榜论文有价值得多——120组配置老老实实做消融，把「数据多样性决定跨世界泛化」这个圈内直觉变成了实验结论。但要注意虚拟世界的缩放定律不能直接外推到物理机器人：游戏引擎里的动力学是人为设定的，真实世界的sim-to-real鸿沟不会因为Minecraft玩得多就消失。真正值得关注的是它给训练数据配方提供了方法论，而非结论本身。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 arXiv cs.AI 论文 阅读全文 →