Impact of Static Friction on Sim2Real in Robotic Reinforcement Learning
作者: Xiaoyi Hu, Qiao Sun, Bailin He, Haojie Liu, Xueyi Zhang, Chunpeng lu, Jiangwei Zhong
分类: cs.RO
发布日期: 2025-03-03
💡 一句话要点
提出静摩擦感知域随机化方法，提升机器人强化学习Sim2Real在复杂地形的适应性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人强化学习 Sim2Real 域随机化 静摩擦 参数辨识
📋 核心要点
- 传统域随机化方法忽略了静摩擦对Sim2Real的影响，导致机器人强化学习在真实复杂地形上性能不佳。
- 提出静摩擦感知域随机化方法，通过控制理论关节模型进行参数辨识，并降低摩擦建模带来的学习复杂度。
- 实验结果表明，该方法在Sim2Sim和Sim2Real实验中均优于传统域随机化和Actuator Net，提升了自适应能力和整体性能。
📝 摘要（中文）
在机器人强化学习中，Sim2Real差距仍然是一个关键挑战。然而，静摩擦对Sim2Real的影响尚未得到充分探索。传统的域随机化方法通常将静摩擦排除在其参数空间之外。在我们的机器人强化学习任务中，这种传统方法导致真实世界模型的性能显著下降。为了解决这个Sim2Real挑战，我们采用了Actuator Net作为传统域随机化的替代方案。虽然这种方法能够成功转移到平地运动，但在楼梯等复杂地形上却失败了。为了进一步研究影响机器人关节Sim2Real的物理参数，我们开发了一个控制理论关节模型，并进行了系统的参数辨识。我们的分析揭示了机器人关节中出乎意料的高摩擦力矩比。为了减轻其影响，我们实施了静摩擦感知域随机化用于Sim2Real。考虑到摩擦建模带来的训练难度增加，我们提出了一种简单而新颖的解决方案来降低学习复杂度。为了验证这种方法，我们进行了全面的Sim2Sim和Sim2Real实验，比较了三种方法：传统域随机化（不含静摩擦）、Actuator Net和我们的静摩擦感知域随机化。所有实验都使用了快速运动适应（RMA）算法。结果表明，我们的方法实现了卓越的自适应能力和整体性能。
🔬 方法详解
问题定义：论文旨在解决机器人强化学习中，由于仿真环境与真实环境存在差异（Sim2Real gap）导致模型在真实世界性能下降的问题。特别指出，传统域随机化方法忽略了静摩擦的影响，导致模型在复杂地形上的泛化能力不足。现有方法的痛点在于无法有效处理静摩擦带来的影响，导致模型在真实环境中的表现不佳。
核心思路：论文的核心思路是识别并建模机器人关节中的静摩擦，并将其纳入域随机化过程中。通过控制理论关节模型进行参数辨识，确定静摩擦力矩比，然后设计静摩擦感知的域随机化方法。此外，为了降低摩擦建模带来的学习难度，论文还提出了一种简化学习复杂度的方案。
技术框架：整体框架包括以下几个主要步骤：1)建立机器人关节的控制理论模型；2)进行参数辨识，确定静摩擦力矩比；3)设计静摩擦感知的域随机化方法，将静摩擦参数纳入随机化范围；4)为了降低学习难度，提出简化学习复杂度的方案；5)使用RMA算法进行训练，并在Sim2Sim和Sim2Real环境中进行评估。
关键创新：论文最重要的技术创新点在于提出了静摩擦感知的域随机化方法。与传统域随机化方法不同，该方法显式地考虑了静摩擦的影响，并将其纳入随机化参数空间。此外，通过控制理论模型进行参数辨识，能够更准确地估计静摩擦力矩比，从而提高域随机化的有效性。
关键设计：论文的关键设计包括：1)控制理论关节模型的建立，用于参数辨识；2)静摩擦力矩比的计算方法；3)静摩擦感知域随机化的具体实现，包括随机化参数的选择和范围；4)降低学习复杂度的方案，具体细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，与传统的域随机化方法和Actuator Net相比，该方法在Sim2Sim和Sim2Real实验中均取得了更好的性能。具体来说，该方法在复杂地形（如楼梯）上的运动能力得到了显著提升，表明其具有更强的自适应能力和泛化能力。具体的性能提升数据未知，但整体表现优于其他方法。
🎯 应用场景
该研究成果可应用于各种需要机器人进行复杂地形运动的场景，例如搜索救援、物流运输、建筑巡检等。通过提高机器人模型在仿真环境到真实环境的泛化能力，可以降低机器人部署成本，提高其在复杂环境中的适应性和可靠性。未来，该方法有望推广到其他类型的机器人和更复杂的任务中。
📄 摘要（原文）
In robotic reinforcement learning, the Sim2Real gap remains a critical challenge. However, the impact of Static friction on Sim2Real has been underexplored. Conventional domain randomization methods typically exclude Static friction from their parameter space. In our robotic reinforcement learning task, such conventional domain randomization approaches resulted in significantly underperforming real-world models. To address this Sim2Real challenge, we employed Actuator Net as an alternative to conventional domain randomization. While this method enabled successful transfer to flat-ground locomotion, it failed on complex terrains like stairs. To further investigate physical parameters affecting Sim2Real in robotic joints, we developed a control-theoretic joint model and performed systematic parameter identification. Our analysis revealed unexpectedly high friction-torque ratios in our robotic joints. To mitigate its impact, we implemented Static friction-aware domain randomization for Sim2Real. Recognizing the increased training difficulty introduced by friction modeling, we proposed a simple and novel solution to reduce learning complexity. To validate this approach, we conducted comprehensive Sim2Sim and Sim2Real experiments comparing three methods: conventional domain randomization (without Static friction), Actuator Net, and our Static friction-aware domain randomization. All experiments utilized the Rapid Motor Adaptation (RMA) algorithm. Results demonstrated that our method achieved superior adaptive capabilities and overall performance.