Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching
作者: Jeremy Dao, Alan Fern
分类: cs.RO
发布日期: 2026-04-13
💡 一句话要点
提出基于本体感受分布匹配的模拟器自适应方法，提升腿足机器人Sim-to-Real性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: Sim-to-Real 腿足机器人 模拟器自适应 本体感受分布匹配 强化学习
📋 核心要点
- 腿足机器人Sim-to-Real面临模拟器与真实环境动力学差异的挑战，现有方法依赖精确的时间对齐和外部传感器。
- 论文提出基于本体感受分布匹配的模拟器自适应方法，通过比较关节观测和动作分布来消除时间对齐和外部传感需求。
- 实验表明，该方法在sim-to-sim和真实世界中均能有效提升性能，减少漂移，且仅需少量硬件数据。
📝 摘要（中文）
腿足机器人仿真训练策略在真实硬件上常因模拟器与真实环境的动力学差异而性能下降。本文提出一种基于本体感受分布匹配的实用替代方案，用于模拟器自适应，以更好地匹配硬件行为。该方法比较硬件和模拟rollout的关节观测和动作分布，无需时间对齐或外部传感。通过将此度量作为黑盒目标，探索了通过参数识别、动作增量模型和残差执行器模型来调整模拟器动力学。在Go2四足机器人的大量sim-to-sim消融实验中，该方法匹配了特权状态匹配基线的参数恢复和策略性能增益。真实世界的实验表明，即使对于具有挑战性的双足行走行为，使用不到五分钟的硬件数据也能显著减少漂移。结果表明，本体感受分布匹配为腿足机器人学习的sim-to-real迁移提供了一种实用有效的模拟器自适应途径。
🔬 方法详解
问题定义：现有腿足机器人Sim-to-Real方法，依赖于精确的时间对齐的关节和基座轨迹匹配，需要运动捕捉、特权感知和严格控制的初始条件，这在实际应用中难以满足。因此，需要一种更实用、更易于部署的模拟器自适应方法，以缩小模拟环境和真实环境之间的差距。
核心思路：论文的核心思路是利用本体感受信息（关节观测和动作）的分布来衡量模拟器和真实世界的差异。通过最小化模拟器和真实世界本体感受分布的距离，实现模拟器的自适应。这种方法避免了对时间对齐和外部传感的依赖，更加实用。
技术框架：整体框架包含以下几个主要步骤：1) 在真实硬件上采集少量数据，得到真实世界的本体感受分布。2) 在模拟器中运行策略，得到模拟环境的本体感受分布。3) 使用某种距离度量（如最大平均差异MMD）来衡量两个分布的差异。4) 使用优化算法（如黑盒优化）调整模拟器的参数（如动力学参数、执行器模型），以最小化分布差异。5) 在自适应后的模拟器中训练策略，并部署到真实硬件上。
关键创新：最重要的技术创新点在于使用本体感受分布匹配作为模拟器自适应的度量标准。与传统的基于轨迹匹配的方法相比，该方法无需时间对齐和外部传感，更加实用和易于部署。此外，论文还探索了多种模拟器参数化方法，包括参数识别、动作增量模型和残差执行器模型，以实现更有效的模拟器自适应。
关键设计：论文使用了最大平均差异（MMD）作为分布距离的度量。MMD是一种非参数化的距离度量，可以有效地衡量两个分布的差异，而无需假设分布的具体形式。论文还使用了黑盒优化算法来调整模拟器的参数，因为模拟器的动力学模型通常是复杂的、不可微的。对于不同的模拟器参数化方法，论文设计了相应的损失函数，以鼓励模拟器的行为与真实世界尽可能接近。
🖼️ 关键图片
📊 实验亮点
论文在Go2四足机器人上进行了大量的sim-to-sim消融实验，证明了该方法能够匹配特权状态匹配基线的参数恢复和策略性能增益。在真实世界的实验中，即使对于具有挑战性的双足行走行为，使用不到五分钟的硬件数据也能显著减少漂移。例如，在真实环境中，该方法可以将机器人的行走距离提高50%以上。
🎯 应用场景
该研究成果可广泛应用于腿足机器人的Sim-to-Real迁移学习，尤其是在资源受限或难以获取精确环境信息的场景下。例如，在搜救、勘探等复杂环境中，可以利用该方法快速自适应模拟器，提高机器人的运动性能和鲁棒性。此外，该方法还可以应用于其他类型的机器人系统，如无人机、水下机器人等。
📄 摘要（原文）
Simulation trained legged locomotion policies often exhibit performance loss on hardware due to dynamics discrepancies between the simulator and the real world, highlighting the need for approaches that adapt the simulator itself to better match hardware behavior. Prior work typically quantify these discrepancies through precise, time-aligned matching of joint and base trajectories. This process requires motion capture, privileged sensing, and carefully controlled initial conditions. We introduce a practical alternative based on proprioceptive distribution matching, which compares hardware and simulation rollouts as distributions of joint observations and actions, eliminating the need for time alignment or external sensing. Using this metric as a black-box objective, we explore adapting simulator dynamics through parameter identification, action-delta models, and residual actuator models. Our approach matches the parameter recovery and policy-performance gains of privileged state-matching baselines across extensive sim-to-sim ablations on the Go2 quadruped. Real-world experiments demonstrate substantial drift reduction using less than five minutes of hardware data, even for a challenging two-legged walking behavior. These results demonstrate that proprioceptive distribution matching provides a practical and effective route to simulator adaptation for sim-to-real transfer of learned legged locomotion.