李飞飞、吴佳俊再联手，打破世界模型和机器人动作的「巴别塔」

视觉轨迹充当“同声传译”，让世界模型和机器人动作真正“同频对话”。

    作者丨幸丽娟

    编辑丨岑   峰

                                                                                                       

日前，一篇叫做《TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks》的论文悄然上线 arXiv。论文署名中出现了两个大家很熟悉的名字——李飞飞、吴佳俊。

论文链接：https://arxiv.org/html/2608.24101v1

熟悉具身智能圈的人都知道，这两个名字放在一起，分量不轻。

李飞飞是世界模型“空间智能”方向的旗帜人物，而刚刚领完 IJCAI 2026 计算机与思想奖的吴佳俊，则是这一领域最核心的研究者之一。

这两位长期合作的学术战友，最近在具身智能领域动作频频。就在一个月前，他们刚与 ControlNet 作者张吕敏等十余位学者共同发表了《Masked Visual Actions for Unified World Modeling》，把机器人动作渲染成像素轨迹，喂给视频世界模型。

但对于他们而言，之前的尝试或许还不够彻底。

世界模型能看懂机器人动作了，但机器人动作那一侧的问题还卡着：动作怎么实时变成轨迹？世界模型预演完，怎么反过来帮机器人挑动作？

这条往返的路，还没有打通。

这一次，他们直指这个问题的核心：机器人的“动作控制”和世界模型的“预测画面”，说的根本不是同一种语言。

TrAct 的解法，就是在中间配一位“同声传译”。

01

  世界模型的“巴别塔”：

动作和像素，鸡同鸭讲

先解释一下背景。

现在具身智能行业正在形成一种共识：光靠 VLA“条件反射”式地输出动作不够，得让机器人学会“先在脑子里过一遍”——多个候选动作，交给世界模型预演未来，再挑结果最好的执行。

π0.5、GR00T 这些头部 VLA 模型，在标准基准上已经刷到接近满分。但在真实世界的泛化中，它们依然频频翻车。

因此，世界模型的“预演”能力，被普遍认为是具身智能的下一个关键拼图。

但问题是，“预演”这出戏，主演对不上台词。

机器人控制器输出的是一串低维的“动作方言”：可能是末端位姿，可能是关节角，可能是夹爪开合，也可能三者组合——十几或二十个低维数字。

世界模型需要输出的是高维的“像素画面”：夹爪在画面中的像素坐标、轮廓形状、与物体的距离；面条在每一帧中如何弯曲、滑动、与碗壁碰撞。每一帧可能是 224×224×3 ≈ 15 万像素，16 帧就是 240 万像素。

问题来了：20 个数字怎么推导出 240 万个像素？

从“末端位姿变化 0.02 米”到“夹爪在画面中向右移动了 50 个像素”，中间隔着一整条物理因果链——关节转动、末端接触、物体滑动、相机成像。把前者直接喂给后者，等于给导演看剧本大纲里的 20 个关键词，让他脑补出两个小时的电影。

世界模型就是在硬着头皮干这个"脑补"的活儿。 论文将这种方案称为 AWM（Action-conditioned World Model，动作条件世界模型） ——给定动作指令，直接预测未来画面。

不意外的是，这套"硬猜硬译"的方案，翻车姿势非常典型：

夹爪姿态预测错了；背景和目标物体在预测画面里凭空消失；两个相机视角对同一物体的位置判断互相打架。

更要命的是，每一种机器人的“动作方言”都不一样。 Franka 说 Franka 语（末端位姿+夹爪开合），UR5 说 UR5 语（另一套关节参数），双臂机器人又说第三套。

同样是“把面条放进碗里”，每台机器人“念出来的台词”完全不同。

也就是说，换一台机器人，之前学的"动作到画面"的映射几乎作废——跨本体泛化，就成了行业公认的死结。

一边是机器人执行不了的像素，一边是世界模型看不懂的动作。

TrAct 的答案：请一位“同声传译”，把两边的话翻译成彼此都懂的语言。

这位“同声传译”，叫做视觉轨迹（visual track）。

02

TrAct ：让视觉轨迹当“同声传译”

视觉轨迹是什么？一句话：具身无关而任务相关的关键点，在图像坐标里随时间移动的路径。

TrAct 会跟踪两类点：

1.夹爪点：机械臂夹爪上的 7 个固定网格顶点，覆盖夹爪的轮廓和运动范围——解决“手怎么动”；

2.场景点：图像平面上 5×5 均匀网格采样的 25 个点，分散在整个画面——解决“环境怎么动”（物体滑动、相机晃动）。

这两类点的分工很明确： 夹爪点是“主动运动”的源头，直接反映机器人的动作意图；网格点是“被动运动”的参照，帮助模型判断画面变化是来自夹爪移动、物体滑动，还是镜头晃动。两者结合，世界模型才能准确理解“哪些像素动、为什么动”。

这套语言妙就妙在“通用”：不管 Franka、UR5 还是人手，把物体放进碗里这个动作，翻译成轨迹都是同一句话——“夹爪关键点沿这条路径移动，物体从当前位置进入碗的区域”。动作带着本体特异性，轨迹却是跨本体的“普通话”。

围绕这个接口，TrAct 搭了一个“剧组”，三个阶段、三个组别分工明确：

VLAT（Vision-Language-Action-and-Track model），出方案的导演组。

在预训练 flow-matching VLA π0.5 的基础上改造动作头，让它同时输出动作块和对应的轨迹块。

• 动作块 a是“方言”——末端位姿、关节角、夹爪开合，这些低维的机器人指令；

• 轨迹块 τ 是“普通话”——任务相关关键点在图像坐标系中的运动路径。

两者必须严格成对： 每一组候选方案里，动作和轨迹来自同一次策略采样，不能拆开自由组合。这是贯穿全文的一条红线——预演条件是轨迹，执行控制是动作，两者必须对应同一套方案。如果轨迹描绘出一个美好的未来，配对的执行动作却实现不了这条轨迹，预演就成了“自我感动”。

训练时，VLAT同时优化两个流匹配损失：动作损失监督“方言怎么说”，保证指令可执行；轨迹损失监督“普通话怎么写”，保证轨迹准确描述了画面里点的运动轨迹。换句话说，导演组既要把戏排出来（动作），又要把分镜画清楚（轨迹），两条线同时推进。

TWM（Track-conditioned World Model），预演的拍摄组。

分镜画好了，谁来把它变成成片画面？拍摄组上场。

← 返回资讯流