What's the Move? Hybrid Imitation Learning via Salient Points

📄 arXiv: 2412.05426v1 📥 PDF

作者: Priya Sundaresan, Hengyuan Hu, Quan Vuong, Jeannette Bohg, Dorsa Sadigh

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2024-12-06

💡 一句话要点

SPHINX：基于显著点的混合模仿学习方法，提升机器人操作任务的泛化性和效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模仿学习 机器人操作 显著点 混合动作空间 多模态融合

📋 核心要点

  1. 现有的模仿学习策略在视觉和空间变化下泛化能力不足，难以处理复杂任务。
  2. SPHINX利用显著点作为锚点，结合低频路径点和高频末端执行器运动，实现高效泛化。
  3. SPHINX在真实和模拟环境中显著优于现有方法，并在泛化性和速度方面有所提升。

📝 摘要（中文）

本文提出了一种名为SPHINX（Salient Point-based Hybrid ImitatioN and eXecution）的灵活模仿学习策略，用于提升机器人操作任务的性能。SPHINX利用多模态观测（点云和腕部图像）以及混合动作空间（低频稀疏的路径点和高频密集的末端执行器运动）。该方法从3D点云观测中学习推断任务相关的显著点，通过关注语义特征来支持空间泛化。这些显著点作为锚点，用于预测长距离运动的路径点。当靠近显著点时，SPHINX切换到预测密集的末端执行器运动，利用近距离腕部图像进行精确控制。通过利用不同输入模态和动作表示的优势，SPHINX以样本高效且可泛化的方式处理复杂任务。在4个真实世界和2个模拟任务中，SPHINX实现了86.7%的成功率，在440个真实世界试验中，平均优于次优的state-of-the-art模仿学习基线41.1%。SPHINX还泛化到新的视角、视觉干扰、空间排列和执行速度，比最具竞争力的基线加速1.7倍。代码和视频已开源。

🔬 方法详解

问题定义：现有的模仿学习方法在机器人操作任务中，难以在视觉和空间变化下有效泛化，尤其是在复杂任务中。它们通常依赖于单一的动作表示或输入模态，无法充分利用不同阶段任务的特点，导致样本效率低，泛化能力差。

核心思路：SPHINX的核心思路是利用混合动作空间和多模态输入，将任务分解为粗略的全局运动和精细的局部调整两个阶段。通过学习从点云中提取任务相关的显著点，作为全局运动的锚点，实现空间泛化。然后，利用腕部图像进行局部精细调整，提高操作的精确性。这种混合方法能够充分利用不同模态和动作表示的优势，提高样本效率和泛化能力。

技术框架：SPHINX的整体框架包含以下几个主要模块：1) 显著点预测模块：从3D点云中预测任务相关的显著点。2) 路径点预测模块：基于显著点，预测低频稀疏的路径点，用于长距离运动。3) 末端执行器运动预测模块：当机器人靠近显著点时，基于腕部图像，预测高频密集的末端执行器运动，用于精确操作。4) 混合控制模块：根据当前状态，切换使用路径点或末端执行器运动进行控制。

关键创新：SPHINX的关键创新在于：1) 提出了基于显著点的混合模仿学习框架，能够有效处理复杂操作任务。2) 结合了多模态输入（点云和腕部图像）和混合动作空间（路径点和末端执行器运动），充分利用了不同模态和动作表示的优势。3) 通过学习显著点，实现了空间泛化，提高了对不同场景的适应能力。

关键设计：在显著点预测模块中，使用了PointNet++等点云处理网络，学习从点云中提取特征并预测显著点。路径点预测模块可以使用Transformer等序列模型，基于显著点预测路径点序列。末端执行器运动预测模块可以使用卷积神经网络，从腕部图像中预测末端执行器的运动。损失函数包括显著点预测损失、路径点预测损失和末端执行器运动预测损失。具体参数设置和网络结构的选择需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPHINX在4个真实世界和2个模拟任务中取得了显著的成果。在真实世界试验中，SPHINX的成功率达到了86.7%，平均优于次优的state-of-the-art模仿学习基线41.1%。此外，SPHINX还展现了良好的泛化能力，能够适应新的视角、视觉干扰、空间排列和执行速度，并且比最具竞争力的基线加速1.7倍。这些实验结果表明，SPHINX是一种高效、可泛化的模仿学习方法。

🎯 应用场景

SPHINX具有广泛的应用前景，例如在工业自动化中，可以用于机器人装配、物料搬运等任务。在家庭服务机器人领域，可以用于机器人进行家务整理、物品操作等任务。此外，该方法还可以应用于医疗机器人、农业机器人等领域，提高机器人的智能化水平和操作能力。该研究有助于推动机器人技术的发展，使其能够更好地服务于人类。

📄 摘要（原文）

While imitation learning (IL) offers a promising framework for teaching robots various behaviors, learning complex tasks remains challenging. Existing IL policies struggle to generalize effectively across visual and spatial variations even for simple tasks. In this work, we introduce SPHINX: Salient Point-based Hybrid ImitatioN and eXecution, a flexible IL policy that leverages multimodal observations (point clouds and wrist images), along with a hybrid action space of low-frequency, sparse waypoints and high-frequency, dense end effector movements. Given 3D point cloud observations, SPHINX learns to infer task-relevant points within a point cloud, or salient points, which support spatial generalization by focusing on semantically meaningful features. These salient points serve as anchor points to predict waypoints for long-range movement, such as reaching target poses in free-space. Once near a salient point, SPHINX learns to switch to predicting dense end-effector movements given close-up wrist images for precise phases of a task. By exploiting the strengths of different input modalities and action representations for different manipulation phases, SPHINX tackles complex tasks in a sample-efficient, generalizable manner. Our method achieves 86.7% success across 4 real-world and 2 simulated tasks, outperforming the next best state-of-the-art IL baseline by 41.1% on average across 440 real world trials. SPHINX additionally generalizes to novel viewpoints, visual distractors, spatial arrangements, and execution speeds with a 1.7x speedup over the most competitive baseline. Our website (http://sphinx-manip.github.io) provides open-sourced code for data collection, training, and evaluation, along with supplementary videos.