Keypoint Abstraction using Large Models for Object-Relative Imitation Learning
作者: Xiaolin Fang, Bo-Ruei Huang, Jiayuan Mao, Jasmine Shone, Joshua B. Tenenbaum, Tomás Lozano-Pérez, Leslie Pack Kaelbling
分类: cs.RO, cs.AI, cs.CV
发布日期: 2024-10-30
备注: CoRL LangRob Workshop, 2024
💡 一句话要点
KALM：利用大模型自动提取关键点，实现物体相对模仿学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 关键点检测 视觉-语言模型 机器人学习 物体操作
📋 核心要点
- 现有基于关键点的机器人模仿学习方法依赖人工设计关键点和额外标注，限制了其可扩展性。
- KALM利用大型预训练视觉-语言模型自动生成任务相关的、跨实例一致的关键点。
- 实验表明，该方法在真实环境中表现出强大的性能，仅需少量演示即可适应不同任务和环境。
📝 摘要（中文）
在机器人领域，泛化到不同任务和环境中新的物体配置和实例是一个关键挑战。基于关键点的表示已被证明可以有效地作为一种简洁的表示，用于捕获重要的物体特征，并在动作预测中建立参考系，从而实现机器人技能的数据高效学习。然而，它们的手动设计性质和对额外人工标签的依赖限制了其可扩展性。本文提出了KALM，一个利用大型预训练视觉-语言模型（LMs）自动生成任务相关且跨实例一致的关键点的框架。KALM通过使用LMs生成提议并根据少量机器人演示数据验证它们，从而提取跨视图和对象的鲁棒且一致的关键点。基于生成的关键点，我们可以训练关键点条件策略模型，该模型在以关键点为中心的框架中预测动作，使机器人能够有效地泛化到不同的物体姿势、相机视图和具有相似功能形状的物体实例。我们的方法在现实世界中表现出强大的性能，仅从少量演示中适应不同的任务和环境，而无需额外的标签。
🔬 方法详解
问题定义：现有的基于关键点的模仿学习方法，其关键点通常需要人工设计，并且需要额外的人工标注，这限制了其在复杂任务和环境中的可扩展性。此外，人工设计的关键点可能无法很好地捕捉到任务相关的物体特征，导致策略学习效率低下。
核心思路：KALM的核心思路是利用大型预训练的视觉-语言模型（LMs）的强大语义理解和视觉感知能力，自动生成任务相关的关键点。通过LMs生成关键点候选，并使用少量机器人演示数据进行验证，从而获得鲁棒且一致的关键点表示。这种方法避免了人工设计和标注的需要，提高了可扩展性和泛化能力。
技术框架：KALM框架主要包含两个阶段：关键点生成和策略学习。在关键点生成阶段，首先使用LMs生成关键点候选，然后利用机器人演示数据对这些候选进行验证和筛选，得到最终的关键点集合。在策略学习阶段，使用生成的关键点作为条件，训练一个关键点条件策略模型，该模型预测在以关键点为中心的坐标系下的动作。
关键创新：KALM最重要的创新点在于利用大型预训练的视觉-语言模型自动生成任务相关的关键点。与传统方法相比，KALM无需人工设计和标注关键点，大大提高了可扩展性和泛化能力。此外，KALM通过使用机器人演示数据对LMs生成的关键点候选进行验证，保证了关键点的鲁棒性和一致性。
关键设计：在关键点生成阶段，使用LMs生成多个关键点候选，并计算每个候选关键点在不同视角下的投影一致性。然后，使用机器人演示数据训练一个判别器，用于判断每个关键点候选是否与任务相关。最终，选择投影一致性高且与任务相关的关键点作为最终的关键点集合。在策略学习阶段，使用Transformer网络作为策略模型，输入为关键点坐标和当前状态，输出为动作。
🖼️ 关键图片
📊 实验亮点
该论文在真实机器人环境中进行了实验，结果表明KALM能够仅从少量演示中学习到有效的策略，并且能够泛化到不同的物体姿势、相机视图和物体实例。与传统的基于人工设计关键点的方法相比，KALM在多个任务上取得了显著的性能提升，并且无需额外的人工标注。
🎯 应用场景
KALM具有广泛的应用前景，可用于各种机器人模仿学习任务，例如物体操作、导航和装配等。该方法可以帮助机器人快速学习新的技能，并适应不同的环境和物体。此外，KALM还可以用于自动化标注和数据增强，从而提高机器人学习的效率和鲁棒性。未来，该技术有望应用于工业自动化、家庭服务和医疗保健等领域。
📄 摘要（原文）
Generalization to novel object configurations and instances across diverse tasks and environments is a critical challenge in robotics. Keypoint-based representations have been proven effective as a succinct representation for capturing essential object features, and for establishing a reference frame in action prediction, enabling data-efficient learning of robot skills. However, their manual design nature and reliance on additional human labels limit their scalability. In this paper, we propose KALM, a framework that leverages large pre-trained vision-language models (LMs) to automatically generate task-relevant and cross-instance consistent keypoints. KALM distills robust and consistent keypoints across views and objects by generating proposals using LMs and verifies them against a small set of robot demonstration data. Based on the generated keypoints, we can train keypoint-conditioned policy models that predict actions in keypoint-centric frames, enabling robots to generalize effectively across varying object poses, camera views, and object instances with similar functional shapes. Our method demonstrates strong performance in the real world, adapting to different tasks and environments from only a handful of demonstrations while requiring no additional labels. Website: https://kalm-il.github.io/