Tool-as-Interface: Learning Robot Policies from Observing Human Tool Use
作者: Haonan Chen, Cheng Zhu, Shuijing Liu, Yunzhu Li, Katherine Driggs-Campbell
分类: cs.RO, cs.AI, cs.LG
发布日期: 2025-04-06 (更新: 2025-09-14)
备注: Accepted to CoRL 2025. Project page: https://tool-as-interface.github.io. 17 pages, 14 figures
💡 一句话要点
提出Tool-as-Interface框架，通过观察人类工具使用视频学习机器人策略。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人学习 工具使用 模仿学习 视觉运动策略 3D重建 新视角合成 具身差距 任务空间控制
📋 核心要点
- 现有机器人工具使用学习方法依赖大量遥操作数据，效率低且泛化性差，而人类视频数据存在视角和具身差距。
- 提出Tool-as-Interface框架，通过3D重建和新视角合成解决视角变化问题，利用工具中心动作缩小具身差距。
- 实验证明，该方法在多种工具使用任务中表现出良好的泛化性和鲁棒性，显著提升了任务成功率并减少了数据收集时间。
📝 摘要（中文）
本文提出了一种从人类工具使用视频中学习机器人策略的框架。由于遥操作耗时、对延迟敏感且不适用于动态任务，而人类视频提供了一种无需专用硬件的数据收集方式，但存在视角变化和具身差距带来的挑战。为了解决这些问题，我们利用双RGB相机重建3D场景，并应用高斯溅射进行新视角合成，从而提高策略对视角变化的鲁棒性。我们使用分割的观测和以工具为中心的任务空间动作来缩小具身差距，实现具身不变的视觉运动策略学习。实验结果表明，我们的方法在各种工具使用任务中表现出强大的泛化能力和对人类扰动、相机运动和机器人底座运动的鲁棒性。与基于遥操作的扩散策略相比，我们的方法在任务成功率上提高了71%，并且与遥操作和最先进的界面相比，数据收集时间分别减少了77%和41%。
🔬 方法详解
问题定义：论文旨在解决机器人如何高效地从人类工具使用视频中学习策略的问题。现有方法，如遥操作，需要大量人工干预，数据收集成本高昂，且难以泛化到新的环境和任务。直接从人类视频学习则面临视角差异和机器人与人类的具身差异，导致策略学习困难。
核心思路：论文的核心思路是将工具本身作为机器人与环境交互的“接口”，通过学习工具在任务空间中的运动来实现策略迁移。同时，利用3D重建和新视角合成来消除视角差异，并采用分割观测和工具中心动作来减小具身差距。
技术框架：该框架主要包含以下几个模块：1) 3D场景重建与新视角合成：使用双RGB相机重建3D场景，并利用高斯溅射技术合成任意视角的图像，增强策略对视角变化的鲁棒性。2) 分割观测：对输入图像进行分割，提取工具和目标物体的mask，减少背景噪声的干扰。3) 工具中心任务空间动作：定义以工具为中心的任务空间动作，例如工具的平移和旋转，使得策略学习与具体的机器人形态无关。4) 视觉运动策略学习：利用分割观测和工具中心动作，训练一个视觉运动策略，将图像输入映射到工具的运动指令。
关键创新：该论文的关键创新在于：1) Tool-as-Interface 的概念，将工具作为连接人类演示和机器人执行的桥梁，简化了策略学习过程。2) 结合3D重建和新视角合成，有效解决了视角差异问题，提高了策略的泛化能力。3) 采用分割观测和工具中心动作，减小了具身差距，使得策略可以更容易地迁移到不同的机器人平台上。
关键设计：在3D重建方面，使用了COLMAP进行稀疏重建，然后使用高斯溅射进行稠密重建和新视角合成。在策略学习方面，使用了Transformer网络结构，将图像特征和历史动作作为输入，预测当前的工具运动指令。损失函数包括模仿学习损失和正则化损失，以保证策略的稳定性和平滑性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个工具使用任务中取得了显著的性能提升。与基于遥操作的扩散策略相比，任务成功率提高了71%。数据收集时间与遥操作相比减少了77%，与当前最先进的界面相比减少了41%。此外，该方法还表现出对人类扰动、相机运动和机器人底座运动的鲁棒性。
🎯 应用场景
该研究成果可广泛应用于自动化装配、家庭服务机器人、医疗手术机器人等领域。通过观察人类操作视频，机器人可以快速学习复杂的工具使用技能，降低开发成本，提高工作效率。未来，该技术有望实现更高级别的自主操作，例如在未知环境中完成复杂任务。
📄 摘要（原文）
Tool use is essential for enabling robots to perform complex real-world tasks, but learning such skills requires extensive datasets. While teleoperation is widely used, it is slow, delay-sensitive, and poorly suited for dynamic tasks. In contrast, human videos provide a natural way for data collection without specialized hardware, though they pose challenges on robot learning due to viewpoint variations and embodiment gaps. To address these challenges, we propose a framework that transfers tool-use knowledge from humans to robots. To improve the policy's robustness to viewpoint variations, we use two RGB cameras to reconstruct 3D scenes and apply Gaussian splatting for novel view synthesis. We reduce the embodiment gap using segmented observations and tool-centric, task-space actions to achieve embodiment-invariant visuomotor policy learning. We demonstrate our framework's effectiveness across a diverse suite of tool-use tasks, where our learned policy shows strong generalization and robustness to human perturbations, camera motion, and robot base movement. Our method achieves a 71\% improvement in task success over teleoperation-based diffusion policies and dramatically reduces data collection time by 77\% and 41\% compared to teleoperation and the state-of-the-art interface, respectively.