EquivDP3: A SIM(3)-Invariant Point-Cloud Encoder for Data-Efficient Humanoid Loco-Manipulation

📄 arXiv: 2609.36575v1 📥 PDF

作者: Abu Hanif Muhammad Syarubany, Chang D. Yoo

分类: cs.RO

发布日期: 2026-09-29

备注: 12 pages, 5 figures, 5 tables. A shorter version has been submitted to ICASSP 2027

💡 一句话要点

提出EquivDP3以解决人形机器人低数据效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人 运动操控 数据效率 SIM(3)不变性 扩散策略 点云特征 强化学习 逆运动学

📋 核心要点

  1. 现有的3D扩散策略在处理人形机器人操控任务时，缺乏对旋转、平移和缩放的不变性，导致在少量示例下的性能不足。
  2. 本文提出EquivDP3，通过引入SIM(3)不变的VNN编码器，提升了人形机器人在低数据环境下的操控能力。
  3. 在模拟实验中，EquivDP3在5-10个示例下的成功率达到67.1%，显著高于基线的38.2-52.4%。

📝 摘要（中文）

人形机器人在进行运动操控时，需在仅有少量示例的情况下，适应不同物体姿态和光照条件。3D扩散策略（DP3）依赖点云特征生成动作，但其PointNet风格的编码器未能考虑操作任务中的旋转、平移和缩放等SIM(3)不变性。EquiBot为轮式操控器提供了SIM(3)不变的向量神经网络（VNN）编码器。本文扩展至更复杂的43关节Unitree G1人形机器人，提出EquivDP3：一种两阶段策略，结合高层扩散规划器与SIM(3)不变的VNN编码器，以6Hz的频率发出全身指令，由冻结的预训练强化学习步态策略和差分逆运动学模块以50Hz执行。实验表明，EquivDP3在低数据情况下表现优越，成功率显著高于基线方法。

🔬 方法详解

问题定义：本文旨在解决人形机器人在低数据环境下进行运动操控时的性能不足，现有方法未能有效利用点云特征的几何不变性。

核心思路：提出EquivDP3，通过引入SIM(3)不变的VNN编码器，增强了对不同物体姿态和光照条件的适应能力，从而提高数据效率。

技术框架：整体架构包括两大模块：高层扩散规划器和执行模块。高层规划器利用VNN编码器生成全身指令，执行模块则由预训练的RL步态策略和逆运动学模块组成。

关键创新：最重要的创新在于引入了SIM(3)不变的编码器，使得系统能够在低数据情况下仍然保持较高的成功率，这在现有方法中是缺乏的。

关键设计：编码器的设计使得每个动作块的额外延迟仅为0.8毫秒，且通过行为克隆实现了端到端的训练，确保了系统的高效性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EquivDP3在5-10个示例下的成功率为67.1%，明显高于基线方法的38.2-52.4%。在10个示例下，EquivDP3的成功率为78%，而基线方法仅为60%。这一差异在数据量增加时逐渐减小，表明该方法在低数据情况下的显著优势。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在复杂环境中的自主操控，如家庭服务、救援任务及工业自动化等。通过提升数据效率，EquivDP3能够在示例稀缺的情况下，依然实现高效的运动操控，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visuomotor policies for humanoid loco-manipulation must generalize across object poses and lighting from only a handful of demonstrations. 3D Diffusion Policy (DP3) conditions a diffusion-based action generator on point-cloud features, but its PointNet-style encoder has no built-in equivariance to the rotations, translations, and scalings (SIM(3)) that manipulation tasks respect. EquiBot closed this gap for wheeled manipulators with a SIM(3)-equivariant Vector Neuron Network (VNN) encoder. We extend this to a substantially more complex embodiment, the 43-joint Unitree G1 humanoid, and propose EquivDP3: a two-stage policy where a high-level diffusion planner with a SIM(3)-equivariant VNN encoder emits 6 Hz whole-body command chunks, executed at 50 Hz by a frozen, pre-trained RL locomotion policy and a differential inverse-kinematics module for the arms, trained end-to-end by behavior cloning. Across two simulated IsaacLab benchmarks and four non-equivariant baselines (5-100 demonstrations, in- and out-of-distribution), EquivDP3's advantage concentrates in the low-data regime: at 5-10 demonstrations it reaches 67.1% success versus 38.2-52.4% for the baselines, while by 50-100 all encoders converge (74.3-85.2%) and the ordering is no longer meaningful. A proprioception-only control confirms this gap is genuinely perceptual: with the point cloud removed, success drops to 31% vs. 60% (EquivDP3) at 5 demonstrations and 78% vs. 99% at 10, but vanishes by 50-100, showing the high-data plateau reflects a benchmark ceiling, not five encoders learning the same invariance. The encoder costs only 0.8 ms of extra latency per action chunk over the PointNet encoder it replaces. Baking geometric symmetry into a hierarchical diffusion policy's perception backbone is a practical, nearly free way to improve data efficiency for humanoid loco-manipulation when demonstrations are scarce.