🏢 公司C档 · NaN分

只有认清‘这是扇门’,机器人才配进办公室

··约1分钟阅读

📋 总体概括

一个让机器在3D空间中做细粒度理解的新AI框架,暴露了服务机器人行业的真问题:机器人不是看不见,而是看不清。从‘家具’到‘椅子’,从‘洞’到‘门’,语义粒度每提升一层,机器人的可作业边界就外扩一圈。本文拆解其技术逻辑与商业化路径。

📄 正文

机器人不是摔在看不清上,而是摔在看得太粗上。2024年以来,ConceptGraphs等一批开源框架让机器以更细的粒度理解3D空间:不止于认出「这是家具」,而是分清它是椅子、桌子还是书柜,判断一个开口是门还是窗。这套框架由佐治亚理工学院牵头、联合MIT-IBM Watson AI Lab等多家机构提出,论文《ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Grounding and Reasoning in Robotics》发表于机器人顶会ICRA 2024(arXiv编号2309.16650),代码开源。这看似只是标签体系变细了一层,背后却是服务机器人从「能走」到「能干活」之间那道真实的鸿沟。

🚪 认出「家具」,然后撞上书柜

机器人对世界的分类粒度,直接决定了它的行动边界。

设想一台在写字楼里送咖啡的服务机器人。它沿着走廊行进,视觉系统报出一串识别结果:家具、墙、开口。听起来不错——但它接下来的每一步都可能出错。

「家具」这个标签对巡逻和粗略避障也许够用,可一旦要规划路线、跟物体打交道,粒度就立刻不够了:那件「家具」是椅子,可以绕得贴近些?是桌子,底下可能伸出人腿?还是书柜,压根是死路一条?同样,墙上的一个「开口」,是能穿行的门,还是只能看不能碰的窗?

这正是ConceptGraphs要解决的核心问题。论文的表述很直白:构建开放词汇的3D物体级场景图,让这些细粒度区分直接服务于「机器如何移动、避障、决定能与什么安全交互」。识别粒度不是学术游戏,而是运动决策的输入端。

用一张图看这套分层认知的结构:

普渡科技、擎朗智能这类做室内配送的同行,对这件事的痛感最深。这一痛点并非圈内的私下抱怨,而是有公开佐证的:据CES等展会的多家媒体现场报道,不少标称「自主」的服务机器人和人形机器人演示,实际仍依赖人工遥操作兜底;交付后的困机工单、换场地重新建图标定,也是商用服务机器人公司公开承认的主要部署成本。粗粒度标签时代,这类事故被归为「corner case」;细粒度理解落地后,它们才可能从根上消失。

📈 粗识别保底,细理解定天花板

语义标签每细一层,机器人的本事就大一圈。

把机器人的场景理解能力拆开看,大致是一个三级台阶。ConceptGraphs的例子恰好覆盖了从低到高的跃迁:

理解层级机器人“看到”什么标签词表规模(典型代表)能做什么典型翻车现场
类别级家具、墙、开口封闭词表,通常几十类(如ScanNet基准仅20个有效类别)粗避障、沿墙巡逻朝书柜方向规划直线路径
细粒度级椅子、桌子、书柜、门、窗开放词汇,不设上限(可对齐COCO的80类到LVIS v1的1203类,乃至任意自然语言)精准绕障、路径规划、判断可通行区贴着桌角走蹭到客人
可交互级这扇门可推、这把椅可挪开放词汇+属性/可供性推理开门、整理、递送到位等交互任务对着固定装饰墙等它开门

大多数商用服务机器人今天停在第二级的中段:避障没问题,但「该不该交互、敢不敢交互」依然靠人工圈规则。原因不玄——规划器和交互模块吃的是语义输出,上游标签粗,下游就只能保守。保守的表现就是:宁可绕大圈,不敢做动作。

而细粒度理解的价值,本质是把「人写的规则」替换成「模型给的判断」。以前工程师要在每个部署现场圈电子围栏、标虚拟墙;如果模型本身能分清门和窗、椅子和书柜,部署成本和现场调试周期都会被压下来。这也是为什么这类框架值得产业链认真对待——它削减的是落地方最贵的那部分人力。

📎 框架拆解:ConceptGraphs到底是怎么做的

三个模块,把2D开放词汇检测搬进3D物体级场景图。

按论文自述,ConceptGraphs的流水线大致分三步:

1. 增量式3D物体图构建:机器人用RGB-D相机边走边建图,对每帧图像跑开放词汇的2D检测分割,并将CLIP等模型的语义特征随点云「抬升」到3D空间;

2. 物体关联与语义清洗:跨帧、跨视角的相似观测被聚合为同一个物体节点,再用大语言模型(LLM)对聚合结果做语义校验——把碎片化的、互相矛盾的标签合并成一致的物体命名;

3. 语言查询与机器人任务: resulting场景图支持任意自然语言查询(“帮我找那把扶手椅”),并直接对接语言导航、目标抓取等下游任务,论文在多台移动机器人平台上做了实机验证。

与现有方案的对比,是理解其价值的关键:

  • 对比封闭词表的3D语义分割:传统方法(如ScanNet基准上的方案)词表固定在20~40类,训练时没见过的类别一律识别不了;ConceptGraphs的词表是开放的,新物体不需要重新训练就能查询。
  • 对比OpenScene、ConceptFusion等早期开放词汇3D方法:这些方法停留在像素/点级特征,输出碎片化、噪声大,难以直接供任务规划使用;ConceptGraphs做了物体级聚合和LLM语义清洗,输出的是干净、结构化的物体场景图——这正是规划器真正能「吃」的格式。
  • 后续的层次化扩展:如RSS 2024上的HOV-SG(马德里理工大学、伦敦国王学院等团队)把「建筑—楼层—房间—物体」层级引入开放词汇场景图,据其论文报告,在物体定位和房间级语言定位任务上的准确率较此前方法(含ConceptGraphs)有明显提升,说明这条「细粒度+结构化」的路线正在快速迭代。

一句话概括:ConceptGraphs不是又一个分类器,它把开放词汇的识别结果组织成了机器人可用的知识结构。

💡 关键不在认出物体,而在读懂空间

2D识别回答「这是什么」,3D理解回答「它在哪里、我该怎么走」。

这套框架另一个值得注意的词是「3D」。过去十年,视觉识别在2D图像上已经做得足够好,但服务机器人活在三维物理空间里:物体有遮挡、有深度、有前后左右的空间关系。一张平面图像能告诉你「这是一把椅子」,却回答不了「它在我左前方一米半,靠墙,椅腿朝外」——而后者才是运动规划真正需要的输入。

论文的定位也很克制:框架是让机器「以更细的细节理解3D空间」,且这些区分直接影响「机器如何移动、避障、决定能与什么安全交互」。也就是说,它是嵌在感知与规划之间的一层空间认知。

放在整条具身智能的技术链路里看,它的位置大概是这样:

注意图里「安全交互判断」这个分支。细粒度理解不只喂给规划,还喂给安全:知道那是一个「窗」,机器人就不会把手臂伸过去;知道那是一个「门」,交互前还要判断是推是拉。对人形机器人来说,这一层更加致命——特斯拉的Optimus、Figure这类产品要想真的进家庭和办公室,双臂的每一次伸展都必须建立在对空间语义的精确理解上,否则一次误判就是一次物理事故。

🚗 谁最先为细粒度理解买单

越封闭的场景越早落地,越开放的场景越晚但越值钱。

从商业化节奏推演,细粒度3D理解的红利释放有先后顺序:

早期

几何地图为主

近年

物体类别识别(封闭词表)

当前

细粒度3D理解(开放词汇场景图)

下一程

任务级空间推理

最先受益的是已经规模化部署的室内服务机器人——写字楼、酒店、医院里的配送和清洁机器人。它们的场景相对结构化,细粒度理解能直接兑换成两样东西:更少的现场调试人天、更少的困机工单。对以项目制为主的商用服务机器人公司来说,这是能写进投标书的降本项。

第二波是仓储物流里的AMR和机械臂分拣系统。分拣的核心难题从来不是「认出包裹」,而是理解包裹在货架、托盘、输送带构成的空间关系里的位置和可达性——这同样是3D细粒度理解的射程范围。

第三波才是人形机器人的开放场景,也是价值最大、最难啃的一块。家庭和办公室是典型的非结构化环境,家具的摆放、材质、开合状态千变万化。人形机器人「演示视频里很流畅、真实现场打折扣」这一点,已有公开报道佐证:CES 2024期间,多家海外媒体现场调查发现,不少参展人形机器人的「自主表演」背后存在人工遥操作或预设脚本;换场地需重新建图、标定作业区域,也是各家厂商在产品文档和访谈中公开承认的部署流程。细粒度空间理解如果做成通用能力,等于把这部分隐性成本变成一次性的模型能力。

对宇树科技这样的本体厂商、以及各类具身智能软件公司而言,感知

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)