具身智能🔥8.0
NavGPT-3:在分层导航运行时中驾驭上下文
原标题: NavGPT-3:在分层导航运行时中驾驭上下文
📋总体概括
arXiv论文提出NavGPT-3,一个将长时程强化学习语言模型与低延迟动作策略连接的导航框架。系统上层是类操作系统的运行时,将推理、行动、监控作为独立线程调度,各线程拥有自己的上下文、工具和权限,运行时可决定哪个线程控制机器人运动,从而通过中断和线程切换应对突发现实事件。底层是NavGPT VLA动作策略,基于1928万条样本训练,采用codec机制分配视觉token。该工作试图解决大模型推理与实时物理控制之间的鸿沟,是具身智能系统架构层面的新探索。
⚡关键信息
- ▸NavGPT-3是连接语言模型与动作策略的harness,上层为类OS运行时
- ▸推理、行动、监控以线程形式运行,各有独立上下文、工具和权限
- ▸运行时通过中断和线程切换让机器人应对突发现实事件
- ▸底层NavGPT VLA动作策略基于19.28M样本训练,动态分配视觉token
🔥犀利点评
这套架构本质上是把机器人当计算机管:LLM当CPU调度,VLA当外设驱动,线程切换解决推理慢与控制快的矛盾。思路不新但工程化得很彻底——真正的考验是中断切换的延迟到底压到多少毫秒,论文摘要里可没敢报这个数。19.28M的训练数据量听着唬人,但导航任务的数据质量比数量更致命。方向对,离能卖钱的机器人还远。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →