Bundled Contact Gradients: Stabilizing Differentiable Simulation for Deployable Dynamic Tasks
作者: Dyuman Aditya, Jin Cheng, Clemens Schwarke, Quan Nguyen, Gaurav Sukhatme, Stelian Coros, Gabriele Fadini
分类: cs.RO
发布日期: 2026-09-25
💡 一句话要点
提出Bundled Contact Gradients以解决动态任务中的梯度不稳定问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 可微分仿真 动态任务 机器人控制 梯度优化 人形机器人
📋 核心要点
- 现有的可微分仿真方法在动态人形运动中面临梯度不稳定的问题，导致策略难以迁移到真实世界。
- 本文提出的BCG方法通过局部随机扰动聚合梯度信号，有效降低了梯度方差，从而提高了策略学习的稳定性。
- 实验结果表明，BCG方法能够成功将动态动作零-shot转移到真实机器人上，验证了其有效性和实用性。
📝 摘要（中文）
可微分仿真为机器人动力学提供了分析梯度，使得一阶策略优化更快速和样本高效。然而，通过刚体接触获得平滑且信息丰富的梯度通常需要软化接触模型，这往往牺牲了物理真实感，限制了学习策略的实际应用。为了解决这一问题，本文提出了Bundled Contact Gradients（BCG），一种接触局部随机平滑框架。当检测到刚性接触时，该方法评估围绕刚性接触配置的随机扰动回滚的局部束，并聚合其梯度信号，从而降低梯度方差。我们通过成功训练并零-shot转移动态动作到真实的Unitree G1人形平台，展示了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决在刚体接触情况下，梯度方差过高导致的可微分仿真不稳定问题。现有方法在提高接触刚度时，往往会使得动态对小状态扰动变得敏感，影响策略学习的效果。
核心思路：提出Bundled Contact Gradients（BCG）方法，通过对刚性接触配置进行局部随机扰动，评估多个扰动的梯度信号，从而降低梯度的方差，增强学习过程的稳定性。
技术框架：BCG方法的整体架构包括接触检测模块、随机扰动生成模块和梯度聚合模块。接触检测模块识别刚性接触，随后生成扰动并进行多次回滚，最后聚合这些回滚的梯度信号以获得平滑的梯度输出。
关键创新：BCG的核心创新在于其局部随机平滑策略，通过聚合多个扰动的梯度信号，显著降低了梯度的方差。这一方法与传统的接触模型相比，能够在保持物理真实感的同时，提高策略学习的稳定性。
关键设计：在设计上，BCG方法需要设置扰动的范围和数量，以确保在刚性接触情况下能够有效聚合梯度信号。此外，损失函数的设计也需考虑到梯度的平滑性，以进一步提升学习效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用BCG方法训练的策略能够成功地在真实的Unitree G1人形平台上零-shot转移，验证了其在动态动作学习中的有效性。与传统方法相比，BCG显著降低了梯度方差，提高了策略学习的稳定性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人控制、动态交互任务和复杂环境中的自主导航。通过提高策略学习的稳定性，BCG方法能够使得机器人在真实世界中更好地执行动态任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Differentiable simulation provides analytic gradients of robot dynamics, enabling fast and sample-efficient first-order policy optimization. However, obtaining smooth and informative gradients through rigid-body contact typically requires softened contact models, often at the expense of physical fidelity and thereby limiting learned policies largely to simulation. This trade-off becomes particularly consequential for dynamic humanoid motions, where accurate contact dynamics are critical for transferring policies to the real world. Increasing contact stiffness in rigid-body simulation improves the fidelity of interactions, but also makes the dynamics increasingly sensitive to small state perturbations, producing high-variance gradients that can destabilize first-order policy learning. To address this, we propose \emph{Bundled Contact Gradients (BCG)}, a contact-local randomized smoothing framework for differentiable policy learning. When stiff contact is detected, our method evaluates a local bundle of randomized perturbation rollouts around the stiff contact configuration and aggregates their gradient signal thereby reducing gradient variance. We demonstrate the effectiveness of our method by successfully training and transferring dynamic motions zero-shot onto a real-world Unitree G1 humanoid platform. Videos and supplementary information can be found at https://bundledcontactgradients.github.io/