EquAct: An SE(3)-Equivariant Multi-Task Transformer for Open-Loop Robotic Manipulation

📄 arXiv: 2505.21351v1 📥 PDF

作者: Xupeng Zhu, Yu Qi, Yizhe Zhu, Robin Walters, Robert Platt

分类: cs.RO

发布日期: 2025-05-27

💡 一句话要点

提出EquAct解决SE(3)不变性问题以提升机器人操作能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: SE(3)不变性 多任务学习 机器人操作 Transformer架构 点云处理 语言条件 空间泛化 深度学习

📋 核心要点

  1. 现有的Transformer方法在处理3D几何结构时缺乏几何一致性，导致在场景变换下的不可预测行为。
  2. 本文提出EquAct，通过引入SE(3)不变性，设计了一个高效的点云U-net和特征线性调制层，以增强多任务学习能力。
  3. EquAct在18个RLBench仿真任务和4个物理任务中表现出色，达到了最先进的性能水平，验证了其空间泛化能力。

📝 摘要（中文）

Transformer架构能够有效地从演示中学习语言条件的多任务3D开放循环操作策略，但标准Transformer缺乏几何一致性的内置保证，导致在SE(3)变换下行为不可预测。本文提出EquAct，一种新颖的SE(3)不变多任务Transformer，利用SE(3)不变性作为策略和语言的关键结构属性。EquAct由两个主要组件组成：基于点云的高效SE(3)不变U-net和用于语言条件的SE(3)不变特征线性调制层。通过在18个RLBench仿真任务和4个物理任务上进行评估，EquAct在这些任务中表现出最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有Transformer在处理3D开放循环操作时缺乏几何一致性的问题，导致在SE(3)变换下的不可预测行为。

核心思路：通过引入SE(3)不变性，EquAct能够在策略和语言之间建立更强的几何关联，从而提高模型的稳定性和准确性。

技术框架：EquAct的整体架构包括两个主要模块：一个基于点云的SE(3)不变U-net用于策略推理，和一个用于语言条件的SE(3)不变特征线性调制层。

关键创新：EquAct的核心创新在于其理论上保证的SE(3)不变性，这使得模型在处理几何变换时表现出更高的鲁棒性，与传统方法相比具有显著优势。

关键设计：在网络结构上，EquAct采用了球面傅里叶特征来增强点云表示，同时在语言条件模块中引入了特征线性调制层，以实现更灵活的条件学习。损失函数设计上，结合了多任务学习的目标，确保了模型在不同任务间的有效迁移。

📊 实验亮点

EquAct在18个RLBench仿真任务中表现出色，尤其在SE(3)和SE(2)场景扰动下，均取得了最先进的性能。此外，在4个物理任务中，EquAct也展现了优越的空间泛化能力，验证了其在实际操作中的有效性。

🎯 应用场景

EquAct的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作能力，该技术能够推动智能机器人在实际应用中的普及与发展，尤其是在需要高精度和灵活性的场景中。

📄 摘要（原文）

Transformer architectures can effectively learn language-conditioned, multi-task 3D open-loop manipulation policies from demonstrations by jointly processing natural language instructions and 3D observations. However, although both the robot policy and language instructions inherently encode rich 3D geometric structures, standard transformers lack built-in guarantees of geometric consistency, often resulting in unpredictable behavior under SE(3) transformations of the scene. In this paper, we leverage SE(3) equivariance as a key structural property shared by both policy and language, and propose EquAct-a novel SE(3)-equivariant multi-task transformer. EquAct is theoretically guaranteed to be SE(3) equivariant and consists of two key components: (1) an efficient SE(3)-equivariant point cloud-based U-net with spherical Fourier features for policy reasoning, and (2) SE(3)-invariant Feature-wise Linear Modulation (iFiLM) layers for language conditioning. To evaluate its spatial generalization ability, we benchmark EquAct on 18 RLBench simulation tasks with both SE(3) and SE(2) scene perturbations, and on 4 physical tasks. EquAct performs state-of-the-art across these simulation and physical tasks.