E2DRL: End-to-End Differentiable Reinforcement Learning for 3D Obstacle Avoidance in Quadruped Robots

📄 arXiv: 2610.19627v1 📥 PDF

作者: Cheng Fan, Bingyang Zhou, Gang Yang, Zixuan Zhuang, Aoqian Zhang, Pengzhi Yang, Xin Liu, Chunzheng Wang, Yan Rui Tan, Fan Shi

分类: cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出E2DRL以解决四足机器人3D障碍物规避问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 可微强化学习 四足机器人 障碍物规避 深度学习 模拟与现实验证

📋 核心要点

  1. 现有的可微强化学习方法在四足机器人运动中的应用受限，主要集中在盲行或2D任务上，难以处理复杂的3D障碍物规避问题。
  2. 本文提出E2DRL，通过软可微障碍物交互公式和速度条件的停止梯度塑造，解决了硬碰撞约束带来的梯度问题，提升了3D障碍物规避能力。
  3. 在模拟实验中，E2DRL展示了比PPO更高的样本效率，并在速度跟踪和3D障碍物规避能力上超越了PPO和DCBF NMPC，验证了其有效性。

📝 摘要（中文）

可微强化学习在机器人策略学习中展现出强大潜力，但其在四足机器人运动中的应用仍然局限于盲行或模拟2D任务。将其扩展到端到端的视觉障碍物规避面临挑战，因为硬碰撞约束和接触后的早期终止会破坏一阶梯度，导致优化器陷入局部最优。本文提出E2DRL，通过软可微障碍物交互公式解决这一问题：在多个身体关键点上施加穿透惩罚，并结合速度条件的停止梯度塑造，为3D障碍物规避提供一阶训练信号。通过在可微模拟器中使用软解析策略优化（SAPO）训练的特权教师，经过DAgger蒸馏为基于深度的递归学生，并与地形感知门控模块结合，形成可部署的感知控制系统。在模拟中，E2DRL的样本效率高于PPO，并在速度跟踪性能和3D障碍物规避能力上优于PPO和基于对偶的DCBF NMPC。我们首次在静态和动态环境中对Unitree Go2进行端到端可微强化学习的3D障碍物规避进行了验证。

🔬 方法详解

问题定义：本文旨在解决四足机器人在复杂环境中进行3D障碍物规避的挑战。现有方法在处理硬碰撞约束时，容易导致梯度消失，从而影响优化效果。

核心思路：E2DRL通过引入软可微障碍物交互公式，利用穿透惩罚和速度条件的停止梯度，提供有效的一阶训练信号，克服了传统方法的局限性。

技术框架：整体架构包括三个主要模块：首先，在可微模拟器中训练特权教师；其次，通过DAgger将教师知识蒸馏为递归深度学生；最后，结合地形感知门控模块与基础运动策略，实现可部署的感知控制系统。

关键创新：E2DRL的核心创新在于其软可微障碍物交互的设计，使得机器人在面对障碍物时能够获得有效的梯度信息，从而实现更高效的学习和优化。

关键设计：在损失函数中引入穿透惩罚，针对多个身体关键点进行设计，同时采用速度条件的停止梯度策略，确保在接触障碍物时仍能保持有效的训练信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

E2DRL在模拟实验中表现出色，其样本效率超过PPO，并在速度跟踪性能和3D障碍物规避能力上显著优于PPO和基于对偶的DCBF NMPC，验证了其在实际应用中的有效性和优势。

🎯 应用场景

该研究的潜在应用场景包括自主导航、救援机器人和服务机器人等领域，能够有效提升机器人在复杂环境中的运动能力和适应性。未来，E2DRL有望在更广泛的机器人控制任务中得到应用，推动智能机器人技术的发展。

📄 摘要（原文）

Differentiable reinforcement learning shows strong promise for robot policy learning, but its application to legged locomotion has remained limited to blind walking or simulated 2D tasks. Extending it to end-to-end visual obstacle avoidance is challenging because hard collision constraints and early termination upon contact corrupt first-order gradients, trapping optimizers in local minima. We present E2DRL, which addresses this with a soft differentiable obstacle-interaction formulation: penetration penalties across multiple body keypoints with velocity-conditioned stop-gradient shaping to provide the first-order training signals for 3D obstacle avoidance. To realize a deployable perception-control system, a privileged teacher trained via Soft Analytic Policy Optimization (SAPO) in a differentiable simulator is distilled into a recurrent depth-based student via DAgger, then blended with a base locomotion policy using a terrain-aware gating module for deployment. In simulation, E2DRL achieves higher sample efficiency than PPO and demonstrates superior velocity-tracking performance and 3D obstacle-avoidance capability compared with both PPO and Duality-based DCBF NMPC. We present the first sim-to-real validation of end-to-end differentiable RL for 3D obstacle avoidance on a Unitree Go2 in static and dynamic environments.