SKIL: Semantic Keypoint Imitation Learning for Generalizable Data-efficient Manipulation

📄 arXiv: 2501.14400v2 📥 PDF

作者: Shengjie Wang, Jiacheng You, Yihang Hu, Jiongye Li, Yang Gao

分类: cs.RO, cs.AI

发布日期: 2025-01-24 (更新: 2025-07-02)

备注: 22 pages, 22 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

SKIL：基于语义关键点的模仿学习，提升机器人操作的泛化性和数据效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模仿学习 机器人操作 语义关键点 视觉基础模型 数据效率 泛化性 跨具身学习 长时程任务

📋 核心要点

  1. 现有模仿学习方法在复杂机器人任务中需要大量专家数据，导致样本复杂度高，数据收集成本昂贵。
  2. SKIL利用视觉基础模型自动提取语义关键点，构建描述符，实现数据高效的模仿学习。
  3. 实验表明，SKIL在多种任务中显著优于基线方法，并展现出良好的泛化性和跨具身学习能力。

📝 摘要（中文）

本文提出了一种名为语义关键点模仿学习（SKIL）的框架，旨在解决机器人执行通用、高精度和长时程动作（如服装操作和餐桌整理）时，对大量专家演示数据的依赖问题。SKIL借助视觉基础模型自动获取语义关键点，并构建语义关键点描述符，从而显著降低复杂机器人任务模仿学习的样本复杂度。在真实世界的实验中，SKIL在抓取杯子或鼠标等任务中的性能是基线方法的两倍，并且对物体变化、环境变化和干扰表现出极强的鲁棒性。对于像将毛巾挂在架子上这样的长时程任务，SKIL仅用30个演示就实现了70%的平均成功率，而之前的方法完全失败。此外，由于其语义关键点抽象，SKIL自然支持跨具身学习。实验表明，即使是人类视频也能显著提高学习性能。所有这些结果都证明了SKIL在实现数据高效的通用机器人学习方面的巨大成功。

🔬 方法详解

问题定义：机器人操作任务，特别是复杂任务（如服装操作、餐桌整理），需要机器人具备泛化性、高精度和长时程动作能力。传统的模仿学习方法虽然有效，但需要大量的专家演示数据，导致样本复杂度高，数据收集成本巨大。现有方法难以在数据有限的情况下实现良好的泛化性能，并且难以处理环境变化和干扰。

核心思路：SKIL的核心思路是利用视觉基础模型自动提取场景中的语义关键点，并基于这些关键点构建描述符。通过在语义关键点空间进行模仿学习，可以减少对原始像素空间的依赖，从而提高泛化能力和数据效率。这种方法能够更好地应对物体、环境和干扰的变化，并支持跨具身学习。

技术框架：SKIL框架主要包含以下几个阶段：1) 语义关键点提取：利用预训练的视觉基础模型（如DINOv2）提取图像中的语义特征，并从中选择具有代表性的关键点。2) 关键点描述符构建：基于提取的关键点，构建描述符，用于表示当前状态。3) 模仿学习：使用专家演示数据，训练一个策略网络，学习从当前状态（关键点描述符）到动作的映射。4) 动作执行：在真实环境中，机器人根据策略网络输出的动作执行任务。

关键创新：SKIL最重要的创新在于利用视觉基础模型自动提取语义关键点，并将其作为模仿学习的输入。与传统的直接从像素空间学习的方法相比，SKIL的语义关键点抽象能够更好地捕捉任务的关键信息，减少对无关信息的依赖，从而提高泛化能力和数据效率。此外，SKIL还支持跨具身学习，允许使用人类视频作为演示数据。

关键设计：在语义关键点提取阶段，使用DINOv2提取图像特征，并通过聚类算法选择具有代表性的关键点。关键点描述符可以采用多种形式，例如关键点周围的局部图像块的特征向量。模仿学习阶段可以使用各种策略学习算法，例如行为克隆或Dagger。损失函数通常包括行为克隆损失和正则化项，以防止过拟合。网络结构可以采用多层感知机或卷积神经网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SKIL在真实世界的机器人操作任务中表现出色。在抓取杯子或鼠标等任务中，SKIL的性能是基线方法的两倍，并且对物体变化、环境变化和干扰表现出极强的鲁棒性。对于像将毛巾挂在架子上这样的长时程任务，SKIL仅用30个演示就实现了70%的平均成功率，而之前的方法完全失败。此外，SKIL还展示了良好的跨具身学习能力，即使是人类视频也能显著提高学习性能。

🎯 应用场景

SKIL具有广泛的应用前景，包括：1) 工业自动化：用于机器人执行装配、搬运等任务，提高生产效率和灵活性。2) 家务服务：用于机器人执行清洁、整理等任务，减轻人们的家务负担。3) 医疗保健：用于机器人辅助手术、康复训练等，提高医疗水平和服务质量。4) 灾害救援：用于机器人执行搜索、救援等任务，降低人员伤亡风险。SKIL的跨具身学习能力使其能够利用人类的知识和经验，加速机器人的学习和应用。

📄 摘要（原文）

Real-world tasks such as garment manipulation and table rearrangement demand robots to perform generalizable, highly precise, and long-horizon actions. Although imitation learning has proven to be an effective approach for teaching robots new skills, large amounts of expert demonstration data are still indispensible for these complex tasks, resulting in high sample complexity and costly data collection. To address this, we propose Semantic Keypoint Imitation Learning (SKIL), a framework which automatically obtains semantic keypoints with the help of vision foundation models, and forms the descriptor of semantic keypoints that enables efficient imitation learning of complex robotic tasks with significantly lower sample complexity. In real-world experiments, SKIL doubles the performance of baseline methods in tasks such as picking a cup or mouse, while demonstrating exceptional robustness to variations in objects, environmental changes, and distractors. For long-horizon tasks like hanging a towel on a rack where previous methods fail completely, SKIL achieves a mean success rate of 70\% with as few as 30 demonstrations. Furthermore, SKIL naturally supports cross-embodiment learning due to its semantic keypoints abstraction. Our experiments demonstrate that even human videos bring considerable improvement to the learning performance. All these results demonstrate the great success of SKIL in achieving data-efficient generalizable robotic learning. Visualizations and code are available at: https://skil-robotics.github.io/SKIL-robotics/.