Admittance Visuomotor Policy Learning for General-Purpose Contact-Rich Manipulations
作者: Bo Zhou, Ruixuan Jiao, Yi Li, Xiaogang Yuan, Fang Fang, Shihua Li
分类: cs.RO
发布日期: 2024-09-22 (更新: 2024-11-12)
备注: 8 pages, 7 figures. This is the second version of the paper, and it is subject to further revisions. The current submission does not necessarily reflect the final quality or content of the paper
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于Admittance的视觉运动策略学习框架，用于通用接触式操作任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 接触式操作 视觉运动策略 Admittance控制 扩散模型 模仿学习 机器人操作 多模态学习
📋 核心要点
- 现有方法在接触式操作中难以有效利用接触力信息，导致碰撞感知、高精度抓取和高效操作方面存在不足。
- 提出一种基于扩散模型的Admittance视觉运动策略框架，从多模态数据中学习动作轨迹和期望接触力，并使用Admittance控制器执行。
- 实验表明，该框架在多个接触式操作任务中优于现有方法，显著降低了所需接触力并提高了成功率。
📝 摘要（中文）
本文提出了一种基于Admittance的视觉运动策略框架，用于连续的、通用的、接触式操作任务。在演示阶段，我们设计了一个低成本、用户友好的遥操作系统，该系统具有接触交互功能，旨在收集柔顺的机器人演示并加速数据收集过程。在训练和推理阶段，我们提出了一个基于扩散的模型，用于从包含接触力、视觉和本体感觉的多模态观察中规划动作轨迹和期望的接触力。我们利用Admittance控制器进行柔顺的动作执行。在五个具有挑战性的任务上进行了与两种最先进方法的对比评估，每个任务都侧重于不同的动作原语，以证明我们框架的泛化能力。结果表明，与其他方法相比，我们的框架实现了最高的成功率，并表现出更平滑、更有效的接触，完成每个任务所需的接触力平均降低了48.8%，成功率平均提高了15.3%。
🔬 方法详解
问题定义：现有方法在接触式操作任务中，难以充分利用接触力信息，导致机器人难以精确感知环境、稳定抓取物体和高效完成操作。尤其是在通用操作任务中，不同任务对接触力的需求各不相同，如何学习适应不同任务的接触策略是一个挑战。
核心思路：论文的核心思路是利用扩散模型学习接触式操作的策略，并结合Admittance控制实现柔顺的动作执行。通过模仿学习，让机器人能够从人类演示中学习到合适的动作轨迹和接触力，从而更好地完成接触式操作任务。Admittance控制器的引入使得机器人能够根据环境反馈调整自身姿态和力，提高操作的鲁棒性和安全性。
技术框架：该框架包含三个主要阶段：数据收集、策略学习和动作执行。在数据收集阶段，使用遥操作系统收集人类演示数据，包括视觉、本体感觉和接触力信息。在策略学习阶段，使用扩散模型从收集到的数据中学习动作轨迹和期望接触力。在动作执行阶段，使用Admittance控制器根据学习到的策略控制机器人运动，并根据环境反馈调整动作。
关键创新：该论文的关键创新在于将扩散模型和Admittance控制相结合，用于接触式操作策略学习。扩散模型能够有效地学习复杂的多模态数据分布，从而生成更合理的动作轨迹和接触力。Admittance控制则保证了动作执行的柔顺性和安全性。
关键设计：扩散模型使用Transformer架构，输入包括视觉、本体感觉和接触力信息，输出为动作轨迹和期望接触力。Admittance控制器的参数根据任务需求进行调整。损失函数包括动作轨迹损失和接触力损失，用于指导扩散模型的训练。
🖼️ 关键图片
📊 实验亮点
在五个具有挑战性的接触式操作任务中，该框架与两种最先进的方法进行了对比评估。结果表明，该框架实现了最高的成功率，并且接触过程更加平滑和高效。具体而言，完成每个任务所需的接触力平均降低了48.8%，成功率平均提高了15.3%。这些结果表明，该框架在接触式操作任务中具有显著的优势。
🎯 应用场景
该研究成果可应用于各种需要接触式操作的机器人任务，例如装配、打磨、清洁等。在制造业中，可以用于提高生产效率和产品质量。在服务机器人领域，可以用于实现更安全、更可靠的人机交互。此外，该技术还可以应用于医疗机器人领域，例如手术机器人和康复机器人。
📄 摘要（原文）
Contact force in contact-rich environments is an essential modality for robots to perform general-purpose manipulation tasks, as it provides information to compensate for the deficiencies of visual and proprioceptive data in collision perception, high-precision grasping, and efficient manipulation. In this paper, we propose an admittance visuomotor policy framework for continuous, general-purpose, contact-rich manipulations. During demonstrations, we designed a low-cost, user-friendly teleoperation system with contact interaction, aiming to gather compliant robot demonstrations and accelerate the data collection process. During training and inference, we propose a diffusion-based model to plan action trajectories and desired contact forces from multimodal observation that includes contact force, vision and proprioception. We utilize an admittance controller for compliance action execution. A comparative evaluation with two state-of-the-art methods was conducted on five challenging tasks, each focusing on different action primitives, to demonstrate our framework's generalization capabilities. Results show our framework achieves the highest success rate and exhibits smoother and more efficient contact compared to other methods, the contact force required to complete each tasks was reduced on average by 48.8%, and the success rate was increased on average by 15.3%. Videos are available at https://ryanjiao.github.io/AdmitDiffPolicy/.