CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning

📄 arXiv: 2609.08853v1 📥 PDF

作者: Pietro Noah Crestaz, Mohamed Yassine Kabouri, Nicolas Mansard, Andrea Del Prete

分类: cs.RO

发布日期: 2026-09-08

💡 一句话要点

提出CAST以提升基于模型的强化学习的价值学习效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 基于模型的强化学习 状态价值评论员 规划引导行为 动态控制 机器人技术 深度学习

📋 核心要点

  1. 现有的基于模型的强化学习方法在价值学习上主要依赖于策略的价值，未能充分利用规划引导的行为。
  2. 本文提出CAST，通过交替使用规划引导的行为和当前策略，提升了价值学习的效率和效果。
  3. 在DeepMind Control和HumanoidBench Suites上的实验表明，CAST在性能上优于多种最先进的方法，并成功应用于物理四足机器人。

📝 摘要（中文）

基于模型的强化学习（MBRL）是一类通过学习环境模型来进行动作选择的强化学习方法，因其样本效率高而适用于机器人领域。结合在线规划的学习模型可以进一步改善动作选择。现有方法通常学习策略的价值，而非更强的规划引导行为。本文提出CAST（交替状态价值目标的评论员），通过规划引导行为来提升价值学习，同时用当前策略对价值估计进行正则化。CAST用状态价值评论员替代动作价值评论员，训练目标结合真实的规划引导转移和在当前策略下的想象转移。最终的价值函数实现了规划引导行为与当前策略之间的交替过程，使其能够受益于更强的规划行为，同时被学习的策略进行正则化。我们在DeepMind Control和HumanoidBench Suites上评估CAST，并成功转移到物理Unitree Go2四足机器人执行动态倒立。

🔬 方法详解

问题定义：现有的基于模型的强化学习方法在价值学习上主要依赖于策略的价值，未能充分利用规划引导的行为，导致学习效率低下。

核心思路：本文提出CAST，通过交替使用规划引导的行为和当前策略，提升了价值学习的效率和效果。CAST用状态价值评论员替代动作价值评论员，结合真实和想象的转移进行训练。

技术框架：CAST的整体架构包括状态价值评论员、规划模块和策略模块。状态价值评论员通过交替的目标进行训练，规划模块用于生成规划引导的转移，而策略模块则用于生成当前策略下的转移。

关键创新：CAST的主要创新在于将状态价值评论员与规划引导的行为结合，形成交替的价值学习过程。这一设计使得模型能够同时受益于强大的规划能力和当前策略的正则化。

关键设计：CAST的损失函数结合了真实转移和想象转移的误差，确保评论员的学习过程稳定。此外，网络结构采用了深度神经网络，以增强模型的表达能力。具体的参数设置和训练策略在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在DeepMind Control和HumanoidBench Suites上的实验结果显示，CAST在多个任务中均优于现有的最先进方法，尤其在动态手stand任务中，成功转移到物理Unitree Go2四足机器人，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等。通过提升基于模型的强化学习的效率，CAST能够在复杂环境中实现更高效的决策，推动智能系统的实际应用和发展。

📄 摘要（原文）

Model-based reinforcement learning (MBRL) is a family of RL methods that learn a model of the environment and use it for action selection, making it well suited to robotics due to its sample efficiency. Combining learned models with online planning can further improve action selection, as the planner can exploit the model to find better actions than the learned policy alone. Recent methods combining learned policies with online planning typically learn the value of the policy rather than the stronger planner-guided behavior. We present CAST (Critic with Alternating State-value Target), which uses planner-guided behavior to improve value learning while regularizing the value estimate with the current policy. CAST replaces the action-value critic with a state-value critic, trained using a target that combines a real planner-guided transition and an imagined transition under the current policy. The resulting value function corresponds to an alternating process between planner-guided behavior and the current policy, allowing it to benefit from the stronger planner behavior while being regularised by the policy being learned. We evaluate CAST on the DeepMind Control and HumanoidBench Suites against several state-of-the-art methods, and demonstrate successful transfer to a physical Unitree Go2 quadruped performing a dynamic handstand.