ManiDP: Manipulability-Aware Diffusion Policy for Posture-Dependent Bimanual Manipulation

📄 arXiv: 2510.23016v1 📥 PDF

作者: Zhuo Li, Junjia Liu, Dianxi Li, Tao Teng, Miao Li, Sylvain Calinon, Darwin Caldwell, Fei Chen

分类: cs.RO

发布日期: 2025-10-27

备注: 7 pages, 6 figures, Accepted and published in IROS 2025

💡 一句话要点

ManiDP：一种可操作性感知的扩散策略，用于姿态相关的双臂操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 双臂操作 扩散模型 模仿学习 可操作性 姿态特征 机器人技能学习

📋 核心要点

  1. 现有双臂机器人技能学习方法忽略了姿态相关的任务特征，限制了其在复杂操作中的应用。
  2. ManiDP通过提取双臂可操作性并编码姿态特征，将其融入条件扩散过程，从而优化双臂配置。
  3. 实验表明，ManiDP在真实双臂任务中显著提高了操作成功率和任务兼容性，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为可操作性感知扩散策略（ManiDP）的模仿学习方法，旨在解决双臂机器人技能学习中忽略姿态相关任务特征的问题。现有方法难以使双臂配置适应灵巧双臂操作中特定的力和速度需求。ManiDP通过从专家演示中提取双臂可操作性，并使用基于黎曼的概率模型编码姿态特征。然后，将这些编码的姿态特征整合到条件扩散过程中，以指导生成与任务兼容的双臂运动序列。在六个真实世界的双臂任务上的评估结果表明，与基线方法相比，ManiDP的平均操作成功率提高了39.33％，任务兼容性提高了0.45。这项工作强调了将姿态相关的机器人先验知识整合到双臂技能扩散中的重要性，从而实现类似人类的适应性和灵巧性。

🔬 方法详解

问题定义：现有双臂机器人技能学习方法，特别是基于扩散模型的方法，未能充分考虑姿态对任务执行的影响。在灵巧的双臂操作中，不同的姿态会影响机器人施加力和控制速度的能力。因此，如何学习并利用姿态相关的任务特征，使机器人能够根据任务需求调整双臂配置，是一个关键问题。现有方法的痛点在于无法有效地提取和利用这些姿态信息，导致操作的成功率和兼容性较低。

核心思路：ManiDP的核心思路是利用双臂机器人的可操作性作为姿态信息的代理。可操作性反映了在特定姿态下，机器人执行任务的能力。通过从专家演示中提取可操作性信息，并将其编码为姿态特征，ManiDP能够学习到不同姿态下任务的需求。然后，将这些姿态特征融入到扩散模型中，引导生成与任务兼容的双臂运动序列。这样，机器人不仅能够模仿专家的动作，还能够根据任务需求优化自身的姿态。

技术框架：ManiDP的整体框架包括以下几个主要模块：1) 专家演示数据收集：收集双臂机器人执行任务的专家演示数据，包括关节角度、末端执行器位姿等信息。2) 可操作性提取：从专家演示数据中提取双臂机器人的可操作性指标，例如可操作性椭球的体积。3) 姿态特征编码：使用基于黎曼几何的概率模型（例如高斯混合模型）对可操作性信息进行编码，得到姿态特征向量。4) 条件扩散模型：构建一个条件扩散模型，以姿态特征向量作为条件，生成双臂运动轨迹。5) 策略优化：使用模仿学习算法（例如行为克隆）优化扩散模型的参数，使其能够生成高质量的双臂运动轨迹。

关键创新：ManiDP最重要的技术创新点在于将双臂机器人的可操作性作为姿态信息的代理，并将其融入到扩散模型中。与现有方法相比，ManiDP能够更有效地学习和利用姿态相关的任务特征，从而提高双臂操作的成功率和兼容性。此外，使用基于黎曼几何的概率模型对可操作性信息进行编码，能够更好地捕捉姿态空间的几何结构。

关键设计：在姿态特征编码方面，论文使用了黎曼高斯混合模型（Riemannian Gaussian Mixture Model, RGMM）来对可操作性椭球进行建模。RGMM能够更好地处理可操作性椭球的对称性和正定性约束。在条件扩散模型方面，论文使用了U-Net作为扩散模型的骨干网络，并使用姿态特征向量作为U-Net的条件输入。损失函数主要包括轨迹的重构损失和姿态特征的对齐损失。具体来说，轨迹的重构损失用于保证生成的轨迹与专家演示轨迹相似，而姿态特征的对齐损失用于保证生成的轨迹的姿态特征与专家演示轨迹的姿态特征相似。

📊 实验亮点

实验结果表明，ManiDP在六个真实世界的双臂任务上取得了显著的性能提升。与基线方法相比，ManiDP的平均操作成功率提高了39.33％，任务兼容性提高了0.45。这些结果表明，ManiDP能够有效地学习和利用姿态相关的任务特征，从而提高双臂操作的性能。此外，消融实验也验证了可操作性信息和黎曼几何建模的重要性。

🎯 应用场景

ManiDP具有广泛的应用前景，例如在工业自动化领域，可以用于机器人装配、焊接等复杂操作。在医疗领域，可以用于辅助手术、康复训练等任务。此外，ManiDP还可以应用于家庭服务机器人，使其能够执行更灵巧、更复杂的家务操作。该研究的实际价值在于提高了双臂机器人的操作能力和适应性，使其能够更好地服务于人类。未来，ManiDP可以进一步扩展到多臂机器人、人机协作等领域。

📄 摘要（原文）

Recent work has demonstrated the potential of diffusion models in robot bimanual skill learning. However, existing methods ignore the learning of posture-dependent task features, which are crucial for adapting dual-arm configurations to meet specific force and velocity requirements in dexterous bimanual manipulation. To address this limitation, we propose Manipulability-Aware Diffusion Policy (ManiDP), a novel imitation learning method that not only generates plausible bimanual trajectories, but also optimizes dual-arm configurations to better satisfy posture-dependent task requirements. ManiDP achieves this by extracting bimanual manipulability from expert demonstrations and encoding the encapsulated posture features using Riemannian-based probabilistic models. These encoded posture features are then incorporated into a conditional diffusion process to guide the generation of task-compatible bimanual motion sequences. We evaluate ManiDP on six real-world bimanual tasks, where the experimental results demonstrate a 39.33$\%$ increase in average manipulation success rate and a 0.45 improvement in task compatibility compared to baseline methods. This work highlights the importance of integrating posture-relevant robotic priors into bimanual skill diffusion to enable human-like adaptability and dexterity.