Robotic Compliant Object Prying Using Diffusion Policy Guided by Vision and Force Observations

📄 arXiv: 2503.03998v2 📥 PDF

作者: Jeon Ho Kang, Sagar Joshi, Ruopeng Huang, Satyandra K. Gupta

分类: cs.RO

发布日期: 2025-03-06 (更新: 2025-03-18)

备注: Accepted to IEEE RA-L. (C) 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media. 8 pages with 9 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于视觉与力觉引导的扩散策略，解决机器人柔顺物体撬取难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人 柔顺物体 扩散策略 视觉力觉融合 电池回收

📋 核心要点

  1. 现有机器人拆卸方法难以处理包含柔顺部件的复杂产品，尤其是在电池回收等场景中。
  2. 论文提出一种基于视觉和力觉反馈的扩散策略，有效融合高维图像和低维力信息，提升任务成功率。
  3. 实验表明，该方法在电池撬取任务中成功率达到96%，相较于仅使用视觉的基线提升了57%，并具备零样本迁移能力。

📝 摘要（中文）

电动汽车和消费产品中电池的日益普及，迫切需要有效的回收解决方案。这些产品通常包含柔顺和刚性组件的混合，使得机器人拆卸成为实现可扩展回收流程的关键步骤。扩散策略已成为学习机器人低级技能的一种有前途的方法。为了有效地将扩散策略应用于富接触任务，结合力作为反馈至关重要。本文将扩散策略与视觉和力觉相结合，应用于柔顺物体撬取任务。然而，当将低维接触力与高维图像结合时，力信息可能会被稀释。为了解决这个问题，我们提出了一种有效整合力与图像数据以进行扩散策略观察的方法。我们在需要高精度和多步骤执行的电池撬取任务中验证了我们的方法。我们的模型在各种场景中实现了96%的成功率，比仅使用视觉的基线提高了57%。我们的方法还展示了处理未见物体和电池类型的零样本迁移能力。补充视频和实现代码可在我们的项目网站上找到。

🔬 方法详解

问题定义：论文旨在解决机器人自主撬取柔顺物体的问题，特别是在电池回收等场景中。现有方法在处理此类任务时，由于柔顺物体的形变和接触的不确定性，往往难以实现高精度和高可靠性的操作。此外，单纯依赖视觉信息难以准确感知接触状态和力的大小，导致操作失败。

核心思路：论文的核心思路是将力觉信息融入到扩散策略中，作为视觉信息的补充。通过同时利用视觉和力觉信息，机器人可以更准确地感知环境和自身状态，从而生成更有效的操作策略。论文的关键在于如何有效地融合高维的视觉信息和低维的力觉信息，避免力觉信息被稀释。

技术框架：整体框架包括以下几个主要模块：1) 视觉感知模块，用于获取环境的图像信息；2) 力觉感知模块，用于获取接触力信息；3) 特征融合模块，用于将视觉和力觉特征进行有效融合；4) 扩散策略模块，基于融合后的特征生成机器人的动作指令。整个流程是，机器人首先通过视觉和力觉传感器获取环境信息，然后将这些信息输入到特征融合模块中进行处理，最后由扩散策略模块生成动作指令，控制机器人执行操作。

关键创新：论文最重要的技术创新点在于提出了一种有效融合视觉和力觉信息的方法，避免了力觉信息在高维视觉信息中的稀释。具体来说，论文可能采用了一种注意力机制或者其他特征加权方法，使得力觉信息能够更好地引导扩散策略的学习。此外，将扩散策略应用于机器人柔顺物体撬取任务本身也是一种创新。

关键设计：具体的技术细节未知，但可以推测可能包含以下几个方面：1) 特征融合模块的具体实现方式，例如是否使用了注意力机制或者其他特征加权方法；2) 扩散策略模块的网络结构和损失函数设计；3) 视觉和力觉传感器的选择和标定；4) 实验环境的搭建和参数设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在电池撬取任务中取得了显著的性能提升，成功率达到96%，相较于仅使用视觉信息的基线方法，成功率提高了57%。此外，该方法还展示了良好的零样本迁移能力，能够处理未见过的物体和电池类型，表明其具有较强的泛化能力。

🎯 应用场景

该研究成果可应用于自动化电池回收、电子产品拆解、柔性物料处理等领域。通过提升机器人对柔顺物体的操作能力，可以提高生产效率、降低人工成本，并促进循环经济的发展。未来，该技术有望扩展到更复杂的装配和拆卸任务中，实现更智能化的机器人操作。

📄 摘要（原文）

The growing adoption of batteries in the electric vehicle industry and various consumer products has created an urgent need for effective recycling solutions. These products often contain a mix of compliant and rigid components, making robotic disassembly a critical step toward achieving scalable recycling processes. Diffusion policy has emerged as a promising approach for learning low-level skills in robotics. To effectively apply diffusion policy to contact-rich tasks, incorporating force as feedback is essential. In this paper, we apply diffusion policy with vision and force in a compliant object prying task. However, when combining low-dimensional contact force with high-dimensional image, the force information may be diluted. To address this issue, we propose a method that effectively integrates force with image data for diffusion policy observations. We validate our approach on a battery prying task that demands high precision and multi-step execution. Our model achieves a 96\% success rate in diverse scenarios, marking a 57\% improvement over the vision-only baseline. Our method also demonstrates zero-shot transfer capability to handle unseen objects and battery types. Supplementary videos and implementation codes are available on our project website. https://rros-lab.github.io/diffusion-with-force.github.io/