First Order Model-Based RL through Decoupled Backpropagation

📄 arXiv: 2509.00215v2 📥 PDF

作者: Joseph Amigo, Rooholla Khorrambakht, Elliot Chane-Sane, Nicolas Mansard, Ludovic Righetti

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-08-29 (更新: 2025-09-04)

备注: CoRL 2025. Project website: https://machines-in-motion.github.io/DMO/

💡 一句话要点

提出基于模型的强化学习方法以提高学习效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模型基方法 梯度计算 机器人控制 动态模型 样本效率 策略优化

📋 核心要点

  1. 现有的模型基强化学习方法在训练过程中面临预测误差累积的问题，导致策略性能下降。
  2. 本文提出了一种将轨迹生成与梯度计算解耦的新方法，通过可微模型进行高效的梯度计算。
  3. 实验结果表明，该方法在样本效率和速度上与专门优化器相当，同时保持了标准方法的通用性。

📝 摘要（中文）

随着对利用模拟器导数以提高学习效率的强化学习方法的关注增加，早期的基于梯度的方法已显示出优于无导数方法的性能。然而，由于实现成本或不可用性，访问模拟器梯度往往不切实际。模型基强化学习（MBRL）可以通过学习的动态模型来近似这些梯度，但在训练过程中，预测误差的累积会影响求解器的效率，从而降低策略性能。本文提出了一种将轨迹生成与梯度计算解耦的方法：使用模拟器展开轨迹，同时通过学习的可微模型进行反向传播计算梯度。这种混合设计使得即使在模拟器梯度不可用的情况下，也能实现高效且一致的一阶策略优化，并从模拟回放中学习更准确的评论者。我们的算法在基准控制任务上进行了实证验证，并在真实的Go2四足机器人上展示了其在四足和双足运动任务中的有效性。

🔬 方法详解

问题定义：本文旨在解决模型基强化学习中由于预测误差累积导致的策略性能下降问题。现有方法在训练过程中难以有效利用模拟器的梯度，影响了学习效率。

核心思路：论文提出的核心思路是将轨迹生成与梯度计算解耦，利用模拟器生成轨迹，同时通过学习的可微模型进行梯度的反向传播计算。这种设计使得即使在缺乏模拟器梯度的情况下，仍能实现高效的策略优化。

技术框架：整体架构包括两个主要模块：轨迹生成模块和梯度计算模块。轨迹生成模块使用模拟器进行动态模拟，而梯度计算模块则通过学习的可微模型进行反向传播，最终实现策略优化。

关键创新：最重要的技术创新在于将轨迹生成与梯度计算解耦，这与现有的模型基强化学习方法形成了本质区别，后者通常将两者紧密结合，导致效率低下。

关键设计：在关键设计上，论文采用了特定的损失函数来优化学习的动态模型，并通过调节网络结构和参数设置来提高模型的准确性和稳定性。

📊 实验亮点

实验结果显示，所提方法在多个基准控制任务中表现优异，样本效率和速度与专门优化器SHAC相当，同时避免了其他一阶模型基强化学习方法中观察到的不良行为。在真实的Go2四足机器人上，该方法在四足和双足运动任务中均取得了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等。通过提高强化学习的样本效率和学习速度，该方法能够在复杂环境中实现更高效的决策和控制，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

There is growing interest in reinforcement learning (RL) methods that leverage the simulator's derivatives to improve learning efficiency. While early gradient-based approaches have demonstrated superior performance compared to derivative-free methods, accessing simulator gradients is often impractical due to their implementation cost or unavailability. Model-based RL (MBRL) can approximate these gradients via learned dynamics models, but the solver efficiency suffers from compounding prediction errors during training rollouts, which can degrade policy performance. We propose an approach that decouples trajectory generation from gradient computation: trajectories are unrolled using a simulator, while gradients are computed via backpropagation through a learned differentiable model of the simulator. This hybrid design enables efficient and consistent first-order policy optimization, even when simulator gradients are unavailable, as well as learning a critic from simulation rollouts, which is more accurate. Our method achieves the sample efficiency and speed of specialized optimizers such as SHAC, while maintaining the generality of standard approaches like PPO and avoiding ill behaviors observed in other first-order MBRL methods. We empirically validate our algorithm on benchmark control tasks and demonstrate its effectiveness on a real Go2 quadruped robot, across both quadrupedal and bipedal locomotion tasks.