H$^3$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning

📄 arXiv: 2505.07819v2 📥 PDF

作者: Yiyang Lu, Yufeng Tian, Zhecheng Yuan, Xianbang Wang, Pu Hua, Zhengrong Xue, Huazhe Xu

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-05-12 (更新: 2025-06-17)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出H$^3$DP，通过三层分级扩散策略增强视觉运动策略学习。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉运动学习 扩散模型 分层策略 机器人操作 深度感知 多尺度表示

📋 核心要点

  1. 现有视觉运动策略学习方法忽略了视觉感知和动作预测之间的关键耦合。
  2. H$^3$DP通过深度感知输入、多尺度视觉表示和分层条件扩散过程，显式地结合分层结构。
  3. 实验结果表明，H$^3$DP在模拟和真实世界的操作任务中均取得了显著的性能提升。

📝 摘要（中文）

本文提出了一种新的视觉运动学习框架——三层分级扩散策略（H$^3$DP），该框架显式地结合了分层结构，以加强视觉特征和动作生成之间的集成。H$^3$DP包含三个层次：（1）基于深度信息的深度感知输入分层，用于组织RGB-D观测；（2）多尺度视觉表示，用于编码不同粒度的语义特征；（3）分层条件扩散过程，用于将由粗到精的动作生成与相应的视觉特征对齐。大量实验表明，在44个模拟任务中，H$^3$DP相对于基线方法实现了平均+27.5%的相对改进，并在4个具有挑战性的双臂真实世界操作任务中取得了优异的性能。

🔬 方法详解

问题定义：现有的基于生成模型的视觉运动策略学习方法，通常忽略了视觉感知和动作预测之间的紧密联系。如何有效地将视觉信息融入到动作生成过程中，是提升机器人操作性能的关键挑战。现有方法在处理复杂场景和高精度动作控制方面存在不足。

核心思路：H$^3$DP的核心思路是通过引入三层分级结构，显式地建模视觉信息和动作生成之间的关系。深度感知输入分层利用深度信息组织视觉输入，多尺度视觉表示提取不同粒度的语义特征，分层条件扩散过程将粗到精的动作生成与相应的视觉特征对齐。这种分层结构的设计旨在增强视觉特征对动作生成的指导作用，从而提高策略学习的效率和精度。

技术框架：H$^3$DP框架包含三个主要模块：1) 深度感知输入分层模块：根据RGB-D图像的深度信息将输入进行分层，例如将近距离物体和远距离物体分离，从而更好地利用深度信息。2) 多尺度视觉表示模块：使用卷积神经网络提取多尺度的视觉特征，例如浅层特征捕捉边缘和纹理等细节信息，深层特征捕捉物体的语义信息。3) 分层条件扩散过程模块：使用扩散模型生成动作，并使用视觉特征作为条件。动作生成过程从粗到精，首先生成粗略的动作，然后逐步细化。

关键创新：H$^3$DP的关键创新在于其三层分级结构，该结构能够有效地将视觉信息融入到动作生成过程中。与现有方法相比，H$^3$DP更加注重视觉感知和动作预测之间的耦合，通过分层结构显式地建模这种关系。此外，H$^3$DP采用分层条件扩散过程，能够生成更加精细和自然的动作。

关键设计：深度感知输入分层模块使用深度阈值将RGB-D图像分割成不同的层。多尺度视觉表示模块使用ResNet等卷积神经网络提取特征。分层条件扩散过程模块使用U-Net作为扩散模型的骨干网络，并使用注意力机制将视觉特征融入到扩散过程中。损失函数包括扩散模型的标准损失函数和可选的正则化项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

H$^3$DP在44个模拟任务中取得了显著的性能提升，相对于基线方法实现了平均+27.5%的相对改进。在4个具有挑战性的双臂真实世界操作任务中，H$^3$DP也取得了优异的性能，证明了该方法在真实环境中的有效性。这些实验结果表明，H$^3$DP能够有效地提高机器人的操作能力。

🎯 应用场景

H$^3$DP在机器人操作领域具有广泛的应用前景，例如可以应用于家庭服务机器人、工业机器人和医疗机器人等。该方法可以提高机器人在复杂环境中的操作能力，例如物体抓取、装配和导航等。未来，该方法可以进一步扩展到其他领域，例如自动驾驶和虚拟现实等。

📄 摘要（原文）

Visuomotor policy learning has witnessed substantial progress in robotic manipulation, with recent approaches predominantly relying on generative models to model the action distribution. However, these methods often overlook the critical coupling between visual perception and action prediction. In this work, we introduce $\textbf{Triply-Hierarchical Diffusion Policy}~(\textbf{H$^{\mathbf{3}}$DP})$, a novel visuomotor learning framework that explicitly incorporates hierarchical structures to strengthen the integration between visual features and action generation. H$^{3}$DP contains $\mathbf{3}$ levels of hierarchy: (1) depth-aware input layering that organizes RGB-D observations based on depth information; (2) multi-scale visual representations that encode semantic features at varying levels of granularity; and (3) a hierarchically conditioned diffusion process that aligns the generation of coarse-to-fine actions with corresponding visual features. Extensive experiments demonstrate that H$^{3}$DP yields a $\mathbf{+27.5\%}$ average relative improvement over baselines across $\mathbf{44}$ simulation tasks and achieves superior performance in $\mathbf{4}$ challenging bimanual real-world manipulation tasks. Project Page: https://lyy-iiis.github.io/h3dp/.