机器人,终于不等模型了?
星尘智能基座模型团队发布异步在线强化学习框架SmoothRL,让真机训练不再被大模型推理拖慢。本文拆解同步回路的时延瓶颈、异步架构的产业卡位与冷思考:时钟对齐只是第一步,奖励与安全才是深水区。
当全行业都在比拼VLA模型参数量的时候,一个更朴素的问题被忽略了:机器人的世界以毫秒计,大模型的世界以秒计,两个时钟对不上。近日,星尘智能基座模型团队发布在线强化学习框架SmoothRL,用异步执行让真机训练跟上大模型推理的节奏。一句话判断:具身智能的下一段竞争,不在模型有多大,而在训练回路的时钟有多快。
🐢 机器人的世界以毫秒计,模型的世界以秒计
"演示视频里的机器人,一半时间在思考人生。"
这是圈内流传的一句调侃,刺中的却是行业最硬的伤。你大概看过这样的机器人视频:叠衣服动作丝滑,突然夹爪停在半空,停顿两三秒——那是它在等云端大模型吐出下一段决策——然后继续干活,像老式电脑加载进度条。
这不是工程瑕疵,是结构性的时延鸿沟。主流VLA(视觉-语言-动作)模型的推理频率普遍停留在个位数Hz量级,而机器人本体的实时控制动辄需要上百Hz,中间差着两个数量级。业界的通行补丁是"动作分块"(action chunking):模型一次推理生成一串未来动作,机器人先闷头执行,快用完了再问一次。Physical Intelligence的π0、Figure的Helix等代表性模型,都依赖这类工程手段维持观感。
补丁能遮住执行的卡顿,遮不住学习的卡顿。演示可以靠分块撑场面,真机训练不行——训练回路里,执行、采集、更新、推理是实打实的串行链路,模型每更新一步,机器人就得多等一步。
产业判断在这里:⏱️ 时延税是具身智能行业的隐形税收。演示阶段大家比谁的税交得好看,落地阶段比谁的税交得少。SmoothRL发布的信号意义在于,终于有团队开始正面拆这笔税了。
🔄 在线强化学习,卡在一个最土的问题上
"在线强化学习的论文都写在纸上,时间都花在等上。"
还原一个业内再熟悉不过的场景:某具身实验室,研究员盯着真机跑强化学习。机器人做完一个回合的抓取,停下来;等策略网络吃完全部轨迹、梯度更新完毕;机器人再上。一个下午跑几十个回合,人比机器人先崩溃。
尴尬的是,在线强化学习恰恰是少数被验证能让机器人"超越示教者"的路径。模仿学习的上限是人类示教员的水平——你教得再好,学生最多像你;在线RL允许机器人在真机试错中找到比人类更优的策略。但它的代价是真机时间:同步训练回路里,任何一环慢,全体跟着慢。这个问题在游戏和仿真里早有成熟解法——异步架构让智能体边玩边学;可真机不是仿真,没有暂停键、没有无限并行的环境,还要在试错中保证安全。
SmoothRL的思路,本质上是把异步RL的经典架构搬进"大模型+真机"的新语境:机器人持续执行任务,数据在后台回流,策略更新与大模型的异步推理解耦并行,互不阻塞。听起来朴素,但这是个典型的系统工程活 ⚙️——算法团队不屑写,本体团队不会写,卡在中间长期没人做。
我的判断:异步化不是算法突破,是时钟突破。而在具身智能这个阶段,时钟突破往往比算法突破更稀缺、更难抄。
🥅 为什么是星尘先把这件事做出来?
"数据从哪里来,瓶颈就在哪里爆。"
星尘智能的出圈方式在行业里很特别。别人发人形机器人,比的是直立行走和灵巧手;Astribot S1的演示视频,比的是手速——颠锅炒菜、叠衣服、剪线头,动作快得像开了二倍速。这家2023年在深圳成立的公司,创始团队出自腾讯Robotics X,打法也和主流不同:不依赖大规模真机乱试,而是以高质量遥操作为核心做数据采集——人怎么快地教,机器人就怎么快地学。
这条路的甜头是数据质量高,苦头是天花板清晰:人类示教员再快,也有生理极限;机器人模仿得再像,上限也只是"更快的人类"。要继续往上走,必须让机器人在真机上自己试错、自己进化——也就是在线强化学习。而一旦上了真机,就撞回上一节那个老问题:机器人停下来等模型。
换句话说,星尘是被自己的数据体系"逼"到这一步的。遥操作数据密度越高的团队,对训练时钟的要求越苛刻,痛点是自己长出来的。据业内普遍观察,这类"数据先行"的团队往往最早撞上在线训练的墙,也最有动机把墙拆掉。从"采得快"到"学得快",SmoothRL是同一条技术路线的自然延伸,不是追热点式的发布。
星尘智能的演进路径大致是这样的:
- 2023年:星尘智能在深圳成立,团队出自腾讯Robotics X
- 2024年:Astribot S1以高速遥操作演示出圈
- 2024年起:数据体系向基座模型演进,组建基座模型团队
- 近期:基座模型团队发布SmoothRL,直指真机在线训练的时延瓶颈
🎡 数据飞轮的下一圈:从复制人类到超越人类
"模仿学习让机器人像人,强化学习让机器人超过人。"
当下的具身智能行业,隐约分成两派:一派堆数据、做更大的VLA基座模型;一派打磨本体、降本、抢部署。两条路其实共享同一个隐含假设——机器人的能力来自喂数据。但行业迟早要回答那个绕不开的问题:数据从哪来,飞轮靠什么转?
把几条训练路径放在一张表里,答案会自己浮出来:
| 训练范式 | 数据来源 | 能否超越示教水平 | 实时性代价 |
|---|---|---|---|
| 模仿学习 | 人工遥操作 | 难以超越示教者 | 离线训练,代价低 |
| 离线强化学习 | 已有数据集 | 理论可行,实践受限 | 离线训练,代价低 |
| 同步在线RL | 真机试错 | 可以 | 机器人频繁暂停等待 |
| 异步在线RL | 真机试错 | 可以 | 执行与训练解耦并行 |
模仿学习便宜,但封顶在人类水平;同步在线RL能突破,但真机时间和人力成本高到不现实。异步在线RL是唯一同时满足"能超越示教者"和"不牺牲部署时间"的象限——这正是SmoothRL卡位的位置。
同步与异步,两套训练回路的差别一眼可见:
飞轮的转法也随之改变:
机器人不再只是被喂养的对象,而是自我造血的数据引擎 🌀。一旦飞轮转起来,竞争的关键变量就从"谁的数据多"变成"谁的回路快"——每台部署出去的机器人都是一个训练节点,回路时钟决定复利利率。这和当年大模型行业从"拼数据存量"转向"拼数据引擎"的逻辑,几乎是同一个故事的复刻。
⚠️ 泼点冷水:时钟对上了,罗盘还没有
"让机器人别停下来,只是把困难推迟了,没有消除。"
得说几句冷水。异步架构有明码标价的代价:机器人执行时用的策略,可能是几步之前更新的旧版本;训练用到的数据,可能是"过期"的轨迹;梯度天然是"陈旧"的。这些是异步RL的老问题,当年在仿真和游戏里都要花大力气处理,放到真机上,环境不可重置、不可复制,难度只增不减。
更深的坑在奖励。真机在线训练绕不开三个问题:任务怎么定义成功?奖励信号从哪来?没有工程师盯着的时候,机器人自主试错怎么保证安全?业界在尝试的路径包括人类反馈、视觉成功检测器、用大模型当裁判,每一条都不便宜,也没有哪条被证明通用。SmoothRL解决的是"快",不是"对"——时钟对上了,罗盘还没有。
所以我的判断是:未来一年,值得盯的指标只有一个——有没有公开任务上,真机在线训练的成功率稳定超过人类示教基线。如果有,异步在线RL就从论文叙事变成商业账本;如果没有,它就还只是基础设施的前置工程。两者都值得投入,但投资人应该分得清自己在为什么付费。
小结
回到标题的问题:机器人能不能不等模型?SmoothRL给出的答案是——不等,边干边学。这件事的意义不在框架本身,而在于它把行业的注意力从"模型有多大"拉回到"回路有多快"。当训练时钟追上推理时钟,机器人才第一次具备自我进化的物理条件。下一阶段的分水岭,是时钟对齐之后,罗盘能不能跟上。2026年,看真机在线强化学习能不能交出第一批"超越人类示教"的成绩单。