具身智能🔥8.0
Spa-Bench：面向视觉-语言-动作模型空间定位能力的真机评测基准
原标题: Spa-Bench：面向视觉-语言-动作模型空间定位能力的真机评测基准
📋总体概括
研究团队发布Spa-Bench，一个面向视觉-语言-动作模型（VLA）空间定位能力的真机评测基准。该基准针对六类桌面任务展开评估，包括物体状态、相对大小、指代描述、关系放置、序数位置和计数，填补了现有VLA评测偏重整体操作成功率、忽视空间语言理解可靠性的空白，旨在检验当前VLA能否将空间描述准确转化为真实机器人行为。
⚡关键信息
- ▸Spa-Bench是针对VLA模型空间定位能力的真实机器人评测基准，并非仿真测试
- ▸基准覆盖六类桌面任务：物体状态、相对大小、指代描述、关系放置、序数位置、计数
- ▸现有VLA评测多关注物体、指令或环境变化下的整体操作成功率，空间定位能力评估缺失
- ▸基准核心问题：当前VLA能否将空间描述可靠地转化为真机上的恰当行为
- ▸论文以arXiv预印本形式发布（编号2610.12696）
🔥犀利点评
VLA评测一直有个尴尬：大家比的是「抓没抓住」，而不是「听没听懂」。Spa-Bench把矛头指向空间语言理解——这恰恰是大模型从聊天走向干活的关键断层。真机基准比仿真分数值钱得多，但论文摘要只给了任务框架，模型表现数据尚未完整呈现，是骡子是马还得看后续结果。方向对了，含金量待验。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 arXiv cs.RO 论文 阅读全文 →