FACT：面向人到机器人灵巧操作的多模态力-动作-轨迹基础模型

📋总体概括

研究团队发布FACT基础模型，用于提升机器人灵巧操作能力，核心思路是利用人类演示替代昂贵的机器人数据采集。针对人类数据普遍缺失力觉信息的痛点，团队构建了EgoForce大规模人类触觉数据集，捕获富含力信息的操作经验，并与机器人演示数据共同预训练。FACT采用级联架构：先用Track-Guided Coarse Planner联合预测动作、未来视频与视觉轨迹，再进行力感知的精细化调整。该工作打通了人类数据与机器人数据在力觉维度上的共训练路径，为灵巧操作的可扩展数据方案提供了新范式。