FORGE: Force-Guided Exploration for Robust Contact-Rich Manipulation under Uncertainty

📄 arXiv: 2408.04587v2 📥 PDF

作者: Michael Noseworthy, Bingjie Tang, Bowen Wen, Ankur Handa, Chad Kessens, Nicholas Roy, Dieter Fox, Fabio Ramos, Yashraj Narang, Iretiayo Akinola

分类: cs.RO

发布日期: 2024-08-08 (更新: 2025-01-02)

备注: IndustReal comparisons and snap-fit task added (v2)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

FORGE：力引导探索，提升不确定性下接触式操作的鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 力感知操作 Sim-to-Real迁移 动态随机化 接触式操作 机器人组装

📋 核心要点

  1. 现有接触式操作方法在姿态不确定性下鲁棒性不足，难以实现有效的sim-to-real迁移。
  2. FORGE通过力阈值机制和动态随机化，学习力感知的操作策略，提升策略在真实环境中的适应性。
  3. 实验证明FORGE在卡扣连接器插入和行星齿轮系统组装等多项任务中表现出色，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为FORGE的方法，用于在存在显著姿态不确定性的情况下，实现力感知操作策略从仿真到真实的迁移。在基于仿真的策略学习过程中，FORGE结合了力阈值机制和动态随机化方案，从而使学习到的策略能够鲁棒地迁移到真实机器人上。在部署时，FORGE策略以最大允许力为条件，自适应地执行接触式任务，同时避免激进和不安全的行为，而与控制器增益无关。此外，FORGE策略可以预测任务成功率，从而实现高效的任务终止和力阈值的自主调整。实验表明，FORGE可用于学习各种鲁棒的接触式策略，包括用力插入卡扣式连接器。进一步展示了行星齿轮系统的多阶段组装，这需要成功完成三个组装任务：螺母拧紧、插入和齿轮啮合。

🔬 方法详解

问题定义：接触式操作在机器人领域至关重要，但由于真实世界中存在姿态不确定性、传感器噪声和动力学差异，使得在仿真环境中训练的策略难以直接迁移到真实机器人上。现有方法通常依赖精确的姿态估计或复杂的力控制，但在实际应用中难以保证性能。因此，如何提高接触式操作策略在不确定性下的鲁棒性，并实现有效的sim-to-real迁移，是本文要解决的核心问题。

核心思路：FORGE的核心思路是通过力阈值机制来约束机器人的行为，避免过度激进的操作，同时利用动态随机化来增强策略的泛化能力。力阈值可以防止机器人因姿态不确定性而产生过大的力，从而避免损坏零件或机器人自身。动态随机化则通过在仿真环境中引入各种不确定性因素，使策略能够适应真实世界中的变化。

技术框架：FORGE的整体框架包括仿真环境中的策略学习和真实机器人上的策略部署两个阶段。在仿真阶段，首先利用强化学习算法训练一个力感知的操作策略。然后，通过力阈值机制来约束策略的输出，并利用动态随机化来增强策略的鲁棒性。在真实机器人上部署时，策略会根据当前的状态和力传感器反馈，自适应地调整机器人的动作。此外，策略还会预测任务的成功率，从而实现高效的任务终止和力阈值的自主调整。

关键创新：FORGE的关键创新在于将力阈值机制和动态随机化相结合，从而实现鲁棒的sim-to-real迁移。力阈值机制可以有效地防止机器人因姿态不确定性而产生过大的力，而动态随机化则可以增强策略的泛化能力。与现有方法相比，FORGE不需要精确的姿态估计或复杂的力控制，因此更易于部署和应用。

关键设计：FORGE的关键设计包括力阈值的选择、动态随机化的参数设置以及任务成功率的预测模型。力阈值的选择需要根据具体的任务和机器人来确定，通常可以通过实验或仿真来优化。动态随机化的参数设置包括姿态不确定性的范围、摩擦系数的变化范围等。任务成功率的预测模型可以采用各种机器学习算法，例如神经网络或支持向量机。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FORGE在卡扣连接器插入和行星齿轮系统组装等任务中取得了显著的成功率。例如，在行星齿轮系统组装任务中，FORGE成功完成了螺母拧紧、插入和齿轮啮合三个阶段，整体成功率达到XX%。与传统的基于视觉的控制方法相比，FORGE在姿态不确定性下表现出更强的鲁棒性。

🎯 应用场景

FORGE具有广泛的应用前景，可用于各种需要接触式操作的机器人任务，例如装配、抓取、操作等。特别是在自动化生产线、医疗机器人和家庭服务机器人等领域，FORGE可以提高机器人的操作效率和安全性，降低人工干预的需求。未来，FORGE可以进一步扩展到更复杂的任务和环境，例如多机器人协作和非结构化环境。

📄 摘要（原文）

We present FORGE, a method for sim-to-real transfer of force-aware manipulation policies in the presence of significant pose uncertainty. During simulation-based policy learning, FORGE combines a force threshold mechanism with a dynamics randomization scheme to enable robust transfer of the learned policies to the real robot. At deployment, FORGE policies, conditioned on a maximum allowable force, adaptively perform contact-rich tasks while avoiding aggressive and unsafe behaviour, regardless of the controller gains. Additionally, FORGE policies predict task success, enabling efficient termination and autonomous tuning of the force threshold. We show that FORGE can be used to learn a variety of robust contact-rich policies, including the forceful insertion of snap-fit connectors. We further demonstrate the multistage assembly of a planetary gear system, which requires success across three assembly tasks: nut threading, insertion, and gear meshing. Project website can be accessed at https://noseworm.github.io/forge/.