Distributional Soft Actor-Critic with Three Refinements

📄 arXiv: 2310.05858v7 📥 PDF

作者: Jingliang Duan, Wenxuan Wang, Liming Xiao, Jiaxin Gao, Shengbo Eben Li, Chang Liu, Ya-Qin Zhang, Bo Cheng, Keqiang Li

分类: cs.LG, eess.SY

发布日期: 2023-10-09 (更新: 2025-08-06)

备注: Title updated in this version. The previous version was titled "DSAC-T: Distributional Soft Actor-Critic With Three Refinements". Added a footnote with the BibTeX entry for the published journal version. No other major changes

期刊: IEEE Trans. PAMI,47(5): 3935-3946,2025

DOI: 10.1109/TPAMI.2025.3537087

💡 一句话要点

提出三项改进的分布式软演员评论家以解决价值估计不准确问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 价值估计 机器人控制 无模型算法 Q值高估 深度学习 算法改进

📋 核心要点

  1. 现有的无模型强化学习算法在价值估计上存在高估Q值的问题，导致策略不够最优。
  2. 本文提出的DSACv2通过期望值替代、双值分布学习和方差调整来提高Q值估计的准确性，克服了训练不稳定性。
  3. DSACv2在多种基准任务中表现优异，稳定性和鲁棒性显著提升，且在实际机器人控制中展示了良好的应用效果。

📝 摘要（中文）

强化学习（RL）在复杂决策和控制任务中取得了显著成功。然而，许多无模型RL算法因价值估计不准确而导致性能下降，尤其是Q值的高估，进而影响策略的最优性。为了解决这一问题，本文提出了分布式软演员评论家（DSACv2），通过学习连续的高斯价值分布来提高价值估计的准确性。DSACv2引入了三项关键改进：期望值替代、双值分布学习和基于方差的评论家梯度调整。经过系统评估，DSACv2在多个基准任务中表现优异，且无需特定任务的超参数调优，稳定性和鲁棒性显著提升，展示了在实际机器人控制中的应用潜力。

🔬 方法详解

问题定义：本文旨在解决现有无模型强化学习算法在价值估计中存在的高估Q值问题，导致策略不够最优，且训练过程不稳定。

核心思路：通过引入期望值替代、双值分布学习和基于方差的评论家梯度调整，DSACv2旨在提高Q值的估计准确性，降低训练过程中的方差。

技术框架：DSACv2的整体架构包括三个主要模块：价值分布学习模块、双值分布学习模块和评论家梯度调整模块，形成一个闭环的学习过程。

关键创新：DSACv2的核心创新在于引入双值分布学习和方差调整机制，这与传统的单一Q值估计方法形成了本质区别，显著提高了价值估计的稳定性和准确性。

关键设计：在参数设置上，DSACv2采用了动态调整的学习率和多样化的网络结构，以适应不同任务的需求，同时损失函数设计上考虑了方差的影响，确保了训练过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DSACv2在多个基准任务中表现出色，能够在不进行特定超参数调优的情况下，稳定地匹配或超越现有的领先无模型RL算法，如SAC、TD3、DDPG、TRPO和PPO，显示出其在各类环境中的强大适应性和性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等，具有重要的实际价值。DSACv2的稳定性和高效性使其在复杂环境中的决策制定中展现出良好的应用前景，未来可广泛应用于需要实时决策的场景。

📄 摘要（原文）

Reinforcement learning (RL) has shown remarkable success in solving complex decision-making and control tasks. However, many model-free RL algorithms experience performance degradation due to inaccurate value estimation, particularly the overestimation of Q-values, which can lead to suboptimal policies. To address this issue, we previously proposed the Distributional Soft Actor-Critic (DSAC or DSACv1), an off-policy RL algorithm that enhances value estimation accuracy by learning a continuous Gaussian value distribution. Despite its effectiveness, DSACv1 faces challenges such as training instability and sensitivity to reward scaling, caused by high variance in critic gradients due to return randomness. In this paper, we introduce three key refinements to DSACv1 to overcome these limitations and further improve Q-value estimation accuracy: expected value substitution, twin value distribution learning, and variance-based critic gradient adjustment. The enhanced algorithm, termed DSAC with Three refinements (DSAC-T or DSACv2), is systematically evaluated across a diverse set of benchmark tasks. Without the need for task-specific hyperparameter tuning, DSAC-T consistently matches or outperforms leading model-free RL algorithms, including SAC, TD3, DDPG, TRPO, and PPO, in all tested environments. Additionally, DSAC-T ensures a stable learning process and maintains robust performance across varying reward scales. Its effectiveness is further demonstrated through real-world application in controlling a wheeled robot, highlighting its potential for deployment in practical robotic tasks.