One-Shot Dual-Arm Imitation Learning

📄 arXiv: 2503.06831v1 📥 PDF

作者: Yilong Wang, Edward Johns

分类: cs.RO, cs.CV

发布日期: 2025-03-10

备注: Accepted at ICRA 2025. Project Webpage: https://www.robot-learning.uk/one-shot-dual-arm

💡 一句话要点

提出One-Shot双臂模仿学习(ODIL)，仅需单次演示即可学习精确协同的双臂任务。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 双臂机器人 模仿学习 单次学习 视觉伺服 机器人控制

📋 核心要点

  1. 现有双臂模仿学习方法通常需要大量演示数据或复杂的训练过程，限制了其在实际场景中的应用。
  2. ODIL通过三阶段视觉伺服实现末端执行器与目标物体的精确对齐，并结合轨迹回放完成任务，无需额外训练。
  3. 实验表明，ODIL在真实双臂机器人上，仅需单次演示即可完成多种复杂任务，并具有良好的鲁棒性。

📝 摘要（中文）

本文提出了一种One-Shot双臂模仿学习(ODIL)方法，使双臂机器人仅需一次任务演示即可学习精确且协同的日常任务。ODIL采用一种新的三阶段视觉伺服(3-VS)方法，用于末端执行器和目标物体之间的精确对齐，之后回放演示轨迹就足以完成任务。该方法无需先验的任务或物体知识，也无需在单次演示后进行额外的数据收集和训练。此外，我们提出了一种新的双臂协调范式，用于从单次演示中学习双臂任务。ODIL在一个真实的双臂机器人上进行了测试，在4自由度和6自由度设置下的六个精确且协同的任务中展示了最先进的性能，并在存在干扰物体和部分遮挡的情况下表现出鲁棒性。相关视频可在https://www.robot-learning.uk/one-shot-dual-arm 获取。

🔬 方法详解

问题定义：现有的双臂模仿学习方法通常需要大量的演示数据进行训练，或者需要预先知道任务和物体的相关信息。这限制了它们在实际场景中的应用，因为收集大量数据成本高昂，且预先获取所有任务和物体的信息是不现实的。因此，如何仅通过一次演示就能让双臂机器人学习到精确且协同的任务是一个关键问题。

核心思路：ODIL的核心思路是通过视觉伺服实现末端执行器与目标物体的精确对齐，然后通过回放演示轨迹来完成任务。这种方法避免了复杂的训练过程，并且只需要一次演示数据。视觉伺服保证了初始状态的精确匹配，从而使得后续的轨迹回放能够准确地完成任务。

技术框架：ODIL方法主要包含三个阶段：1) 视觉伺服阶段：使用三阶段视觉伺服(3-VS)方法，精确对齐双臂末端执行器和目标物体。2) 轨迹记录阶段：记录单次演示的轨迹数据，包括末端执行器的位置、姿态和夹爪状态。3) 轨迹回放阶段：回放记录的轨迹数据，控制双臂机器人完成任务。

关键创新：ODIL的关键创新在于其三阶段视觉伺服(3-VS)方法和单次演示的双臂协调范式。3-VS方法能够实现末端执行器和目标物体之间的精确对齐，这是成功完成任务的关键。单次演示的双臂协调范式避免了大量的数据收集和训练，使得该方法更加实用。与现有方法相比，ODIL无需预先知道任务和物体的相关信息，也无需额外的训练。

关键设计：三阶段视觉伺服(3-VS)方法的具体实现细节未知，论文中可能没有详细描述。轨迹回放阶段可能使用了某种平滑算法来保证轨迹的平滑性和稳定性。双臂协调范式的具体实现细节也未知，可能涉及到某种优化算法来保证双臂的协同运动。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ODIL在真实的双臂机器人上进行了测试，在六个精确且协同的任务中展示了最先进的性能。实验结果表明，ODIL仅需单次演示即可完成任务，并且在存在干扰物体和部分遮挡的情况下表现出良好的鲁棒性。具体的性能数据和对比基线未知，但摘要中明确指出其性能达到state-of-the-art水平。

🎯 应用场景

ODIL可应用于各种需要双臂协同操作的场景，例如：自动化装配、医疗手术、家庭服务等。该方法能够降低机器人部署的成本和难度，提高机器人的智能化水平，使得机器人能够更好地适应复杂多变的环境，完成各种精细操作。未来，ODIL有望在工业自动化、医疗机器人等领域发挥重要作用。

📄 摘要（原文）

We introduce One-Shot Dual-Arm Imitation Learning (ODIL), which enables dual-arm robots to learn precise and coordinated everyday tasks from just a single demonstration of the task. ODIL uses a new three-stage visual servoing (3-VS) method for precise alignment between the end-effector and target object, after which replay of the demonstration trajectory is sufficient to perform the task. This is achieved without requiring prior task or object knowledge, or additional data collection and training following the single demonstration. Furthermore, we propose a new dual-arm coordination paradigm for learning dual-arm tasks from a single demonstration. ODIL was tested on a real-world dual-arm robot, demonstrating state-of-the-art performance across six precise and coordinated tasks in both 4-DoF and 6-DoF settings, and showing robustness in the presence of distractor objects and partial occlusions. Videos are available at: https://www.robot-learning.uk/one-shot-dual-arm.