FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control

📄 arXiv: 2603.12612v1 📥 PDF

作者: Jun Xue, Junze Wang, Xinming Zhang, Shanze Wang, Yanjun Chen, Wei Zhang

分类: cs.LG, cs.AI

发布日期: 2026-03-13

💡 一句话要点

FastDSAC：释放最大熵RL在高维人形控制中的潜力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 最大熵强化学习 高维控制 人形机器人 维度熵调制 连续分布评论家

📋 核心要点

  1. 高维动作空间导致探索效率低和训练不稳定，是最大熵RL应用于人形控制的关键挑战。
  2. FastDSAC通过维度熵调制（DEM）动态调整探索预算，并使用连续分布评论家保证价值估计的准确性。
  3. 实验表明，FastDSAC在多个连续控制任务上超越了确定性策略，并在复杂任务中取得了显著性能提升。

📝 摘要（中文）

将最大熵强化学习（RL）扩展到高维人形控制仍然是一个巨大的挑战，因为“维度诅咒”会在广阔的动作空间中导致严重的探索效率低下和训练不稳定。因此，最近的高吞吐量范例主要集中在确定性策略梯度与大规模并行模拟相结合。我们用FastDSAC挑战这种折衷方案，FastDSAC是一个有效释放最大熵随机策略在复杂连续控制中潜力的框架。我们引入维度熵调制（DEM）来动态地重新分配探索预算并强制多样性，以及定制的连续分布评论家，以确保价值保真度并减轻高维价值高估。在HumanoidBench和其他连续控制任务上的广泛评估表明，经过严格设计的随机策略可以始终匹配或优于确定性基线，在具有挑战性的 extit{Basketball}和 extit{Balance Hard}任务上实现了180％和400％的显着收益。

🔬 方法详解

问题定义：论文旨在解决在高维人形控制任务中，最大熵强化学习由于维度诅咒导致的探索效率低下和训练不稳定的问题。现有方法，如确定性策略梯度结合大规模并行模拟，虽然取得了一定进展，但牺牲了最大熵RL的探索能力和鲁棒性。

核心思路：论文的核心思路是通过精细化地控制探索过程，并改进价值估计方法，来克服高维动作空间带来的挑战。具体来说，通过维度熵调制（DEM）动态调整每个维度的探索程度，并使用连续分布评论家来更准确地评估状态价值，从而提升训练稳定性和最终性能。

技术框架：FastDSAC框架主要包含以下几个模块：1) 演员网络（Actor Network），负责生成随机策略；2) 评论家网络（Critic Network），使用连续分布评论家估计状态价值；3) 维度熵调制模块（DEM），动态调整策略的熵；4) 训练循环，使用强化学习算法更新演员和评论家网络。整体流程是，演员网络根据当前状态生成动作，环境反馈奖励和下一个状态，评论家网络评估状态价值，DEM模块调整探索策略，最后使用梯度下降更新网络参数。

关键创新：论文的关键创新在于维度熵调制（DEM）和连续分布评论家。DEM允许算法根据每个维度的学习情况动态调整探索程度，避免了在所有维度上进行均匀探索的低效性。连续分布评论家则通过学习价值分布，更准确地估计状态价值，缓解了高维空间中价值高估的问题。

关键设计：维度熵调制（DEM）通过学习每个维度的熵系数，动态调整策略的方差。连续分布评论家使用分位数回归来估计价值分布，损失函数采用分位数回归损失。演员和评论家网络采用深度神经网络，具体结构根据任务复杂度进行调整。训练过程中，使用软更新（soft update）来稳定评论家网络的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FastDSAC在HumanoidBench等多个连续控制任务上取得了显著的性能提升。在具有挑战性的 extit{Basketball}和 extit{Balance Hard}任务上，FastDSAC分别实现了180%和400%的性能提升，超越了现有的确定性策略梯度方法，证明了精心设计的随机策略在高维控制中的潜力。

🎯 应用场景

该研究成果可应用于各种高维连续控制任务，例如人形机器人运动控制、自动驾驶、游戏AI等。通过提升强化学习的探索效率和训练稳定性，可以使智能体在复杂环境中学习到更高效、更鲁棒的控制策略，从而实现更智能化的自主行为。

📄 摘要（原文）

Scaling Maximum Entropy Reinforcement Learning (RL) to high-dimensional humanoid control remains a formidable challenge, as the ``curse of dimensionality'' induces severe exploration inefficiency and training instability in expansive action spaces. Consequently, recent high-throughput paradigms have largely converged on deterministic policy gradients combined with massive parallel simulation. We challenge this compromise with FastDSAC, a framework that effectively unlocks the potential of maximum entropy stochastic policies for complex continuous control. We introduce Dimension-wise Entropy Modulation (DEM) to dynamically redistribute the exploration budget and enforce diversity, alongside a continuous distributional critic tailored to ensure value fidelity and mitigate high-dimensional value overestimation. Extensive evaluations on HumanoidBench and other continuous control tasks demonstrate that rigorously designed stochastic policies can consistently match or outperform deterministic baselines, achieving notable gains of 180\% and 400\% on the challenging \textit{Basketball} and \textit{Balance Hard} tasks.