DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation
作者: Joshua Bagajo, Clemens Schwarke, Victor Klemm, Ignat Georgiev, Jean-Pierre Sleiman, Jesus Tordesillas, Animesh Garg, Marco Hutter
分类: cs.RO, cs.LG
发布日期: 2024-11-04
备注: Presented at the CoRL 2024 Workshop 'Differentiable Optimization Everywhere'
💡 一句话要点
DiffSim2Real：仅在可微仿真中训练的四足机器人运动策略成功部署于真实世界
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)
关键词: 四足机器人 可微仿真 强化学习 运动控制 Sim2Real
📋 核心要点
- 现有仿真器通常在提供精确梯度和保证物理精度之间难以兼顾，限制了仿真到真实世界的迁移。
- 本文提出一种平滑接触模型，该模型在可微仿真中提供信息丰富的梯度，同时保持足够的物理精度。
- 实验表明，使用该方法训练的四足机器人运动策略能够成功迁移到真实世界，无需额外的真实数据训练。
📝 摘要（中文）
本文展示了使用可微仿真器提供的解析梯度训练的运动策略，能够成功迁移到真实世界的四足机器人上。通常，提供信息丰富梯度的仿真器缺乏真实世界迁移所需的物理精度，反之亦然。成功的关键在于一个平滑的接触模型，它结合了信息丰富的梯度和物理精度，确保了学习行为的有效迁移。据我们所知，这是首次在仅使用可微仿真训练后，真实的四足机器人能够进行运动。
🔬 方法详解
问题定义：现有四足机器人运动控制方法通常依赖于大量真实世界数据进行训练，或者在仿真环境中训练后难以迁移到真实世界。主要痛点在于仿真器难以同时提供精确的梯度信息和足够的物理精度，导致策略在仿真环境中的表现与真实世界存在较大差异。
核心思路：本文的核心思路是设计一个平滑的接触模型，该模型能够在可微仿真环境中提供信息丰富的梯度，从而实现高效的策略学习。同时，该模型需要具有足够的物理精度，以保证学习到的策略能够顺利迁移到真实世界。通过平衡梯度信息和物理精度，实现高效且可迁移的运动控制策略。
技术框架：该方法主要包含以下几个阶段：1）构建可微仿真环境，该环境基于平滑接触模型，能够提供解析梯度；2）使用强化学习算法（例如，PPO）在仿真环境中训练运动控制策略；3）将训练好的策略直接部署到真实四足机器人上，无需额外的微调或适应过程。整个框架避免了复杂的领域自适应技术，简化了部署流程。
关键创新：最重要的技术创新点在于平滑接触模型的设计。该模型在保证可微性的前提下，尽可能地模拟真实世界的接触力学特性。与传统的硬接触模型相比，平滑接触模型能够提供更连续、更稳定的梯度信息，从而加速策略学习并提高迁移性。与更精确但不可微的接触模型相比，该模型牺牲了部分物理精度，但获得了可微性，从而能够利用高效的基于梯度的优化算法。
关键设计：平滑接触模型的具体实现细节未知，但可以推测其关键设计包括：1）使用连续可微的函数来近似接触力；2）引入阻尼项来提高数值稳定性；3）仔细调整模型参数，以平衡梯度信息和物理精度。此外，强化学习算法的选择和超参数的设置也至关重要。损失函数的设计需要鼓励机器人学习期望的运动行为，并惩罚不期望的行为（例如，摔倒）。
🖼️ 关键图片
📊 实验亮点
该研究的主要亮点在于，首次实现了仅在可微仿真环境中训练的四足机器人运动策略，能够直接部署到真实机器人上并成功运动。虽然论文中没有给出具体的性能数据，但成功的零样本迁移本身就是一个重要的突破，证明了可微仿真在机器人学习中的潜力。
🎯 应用场景
该研究成果可应用于各种需要四足机器人进行复杂地形运动的场景，例如搜救、勘探、物流等。通过降低对真实世界数据的依赖，可以加速四足机器人的研发和部署，使其能够更快地适应新的环境和任务。未来，该方法有望扩展到其他类型的机器人和更复杂的任务中。
📄 摘要（原文）
Differentiable simulators provide analytic gradients, enabling more sample-efficient learning algorithms and paving the way for data intensive learning tasks such as learning from images. In this work, we demonstrate that locomotion policies trained with analytic gradients from a differentiable simulator can be successfully transferred to the real world. Typically, simulators that offer informative gradients lack the physical accuracy needed for sim-to-real transfer, and vice-versa. A key factor in our success is a smooth contact model that combines informative gradients with physical accuracy, ensuring effective transfer of learned behaviors. To the best of our knowledge, this is the first time a real quadrupedal robot is able to locomote after training exclusively in a differentiable simulation.