EquivAct: SIM(3)-Equivariant Visuomotor Policies beyond Rigid Object Manipulation

📄 arXiv: 2310.16050v2 📥 PDF

作者: Jingyun Yang, Congyue Deng, Jimmy Wu, Rika Antonova, Leonidas Guibas, Jeannette Bohg

分类: cs.RO, cs.LG

发布日期: 2023-10-24 (更新: 2024-05-14)

备注: ICRA 2024; The first two authors contributed equally

💡 一句话要点

提出EquivAct以解决机器人操作中的泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 等变网络 视觉表示 机器人操作 策略学习 泛化能力 可变形物体 三维旋转 数据增强

📋 核心要点

  1. 现有的策略学习方法在物体操作的泛化能力上存在不足，无法有效应对不同规模和形状的物体。
  2. 本文提出EquivAct，通过引入SIM(3)-等变网络结构，增强视觉表示和策略架构的泛化能力。
  3. 实验结果显示，EquivAct在多项操作任务中表现优异，能够实现零-shot迁移，显著提升了操作的灵活性和适应性。

📝 摘要（中文）

如果一个机器人掌握了折叠厨房毛巾的技能，我们期望它也能掌握折叠大型沙滩毛巾的技能。然而，现有的策略学习方法依赖数据增强，仍无法保证这种泛化能力。本文的创新在于将等变性引入视觉对象表示和策略架构，提出了EquivAct，利用SIM(3)-等变网络结构，从构造上保证了在所有可能的物体平移、三维旋转和缩放下的泛化能力。EquivAct的训练分为两个阶段：首先在模拟场景点云上预训练SIM(3)-等变视觉表示，然后使用少量源任务演示学习SIM(3)-等变的视觉运动策略。实验表明，所学策略能够直接迁移到与演示在规模、位置和方向上有显著差异的物体上。我们在涉及可变形和关节物体的三项操作任务中评估了该方法，超越了以往研究中典型的刚性物体操作任务。

🔬 方法详解

问题定义：本文旨在解决机器人在操作不同物体时的泛化能力不足问题。现有方法依赖数据增强，无法保证在物体的规模、位置和方向变化时的有效性。

核心思路：论文的核心思路是引入SIM(3)-等变性到视觉表示和策略架构中，以确保在物体的平移、旋转和缩放下的泛化能力。这样的设计使得模型在面对不同物体时能够保持一致的表现。

技术框架：整体架构分为两个主要阶段：第一阶段是在模拟场景点云上预训练SIM(3)-等变视觉表示，第二阶段是利用少量源任务演示学习SIM(3)-等变的视觉运动策略。

关键创新：最重要的技术创新在于引入SIM(3)-等变网络结构，这一设计与现有方法的本质区别在于其能够从根本上保证在多种物体变换下的泛化能力。

关键设计：关键设计包括使用对比预训练程序和等变架构，具体的损失函数和网络结构细节在实验中经过优化，以确保在不同操作任务中的有效性。通过这些设计，EquivAct实现了显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EquivAct在三项操作任务中表现优异，尤其是在零-shot迁移方面，能够在与演示任务有显著差异的情况下，成功完成操作任务。与以往方法相比，性能提升幅度显著，验证了对比预训练和等变架构的有效性。

🎯 应用场景

该研究的潜在应用领域包括家庭机器人、工业自动化和服务机器人等，能够有效提升机器人在复杂环境中的操作能力。未来，EquivAct有望推动机器人在多样化任务中的应用，提升其智能化水平和适应性。

📄 摘要（原文）

If a robot masters folding a kitchen towel, we would expect it to master folding a large beach towel. However, existing policy learning methods that rely on data augmentation still don't guarantee such generalization. Our insight is to add equivariance to both the visual object representation and policy architecture. We propose EquivAct which utilizes SIM(3)-equivariant network structures that guarantee generalization across all possible object translations, 3D rotations, and scales by construction. EquivAct is trained in two phases. We first pre-train a SIM(3)-equivariant visual representation on simulated scene point clouds. Then, we learn a SIM(3)-equivariant visuomotor policy using a small amount of source task demonstrations. We show that the learned policy directly transfers to objects that substantially differ from demonstrations in scale, position, and orientation. We evaluate our method in three manipulation tasks involving deformable and articulated objects, going beyond typical rigid object manipulation tasks considered in prior work. We conduct experiments both in simulation and in reality. For real robot experiments, our method uses 20 human demonstrations of a tabletop task and transfers zero-shot to a mobile manipulation task in a much larger setup. Experiments confirm that our contrastive pre-training procedure and equivariant architecture offer significant improvements over prior work. Project website: https://equivact.github.io