具身智能

KiRoSe:利用运动学数据高效分割机器人演示

原标题: KiRoSe:利用运动学数据高效分割机器人演示

arXiv cs.RO 论文·2026/10/26 04:00:00🔗 原文

📋总体概括

研究者提出KiRoSe框架,用机器人运动学数据而非多摄像头视频流来做演示数据分割。受哈夫曼编码启发,其核心是稀疏运动标记(SMTs)——一种离散运动学词汇表,把反复出现的运动模式紧凑编码,从而让多模态大模型高效完成时序与语义分割,避免视频流撑爆上下文窗口、成本高昂的问题。该工作瞄准机器人学习数据清洗、检索与分析环节的自动化。

⚡关键信息

  • ▸KiRoSe提出用机器人运动学数据流替代原始多摄像头视频流进行演示分割
  • ▸受经典熵编码如哈夫曼编码启发,设计稀疏运动标记SMTs离散运动学词汇表
  • ▸SMTs将反复出现的运动模式紧凑表示,降低模型输入开销
  • ▸直接将视频流喂入MLLM成本高且易耗尽上下文窗口,是该方法的出发点
  • ▸分割可服务于机器人学习、数据清洗、检索与分析等下游任务

🔥犀利点评

这个思路聪明在抓对了痛点:视频是M LLM最贵、最低效的输入,而机器人运动学数据本来就在那儿,便宜、低维、信息密度高。用熵编码思想做运动模式压缩也有味道——重复动作天然适合离散化。但代价是丢掉视觉信息,遇到物体交互、环境变化驱动的动作切换,纯运动学分割恐怕会翻车。作为预处理管线的一环很实用,当独立方案看则上限存疑。

本文由本站自动聚合,以下为原始来源:前往 arXiv cs.RO 论文 阅读全文 →