Moderate Actor-Critic Methods: Controlling Overestimation Bias via Expectile Loss

📄 arXiv: 2504.09929v1 📥 PDF

作者: Ukjo Hwang, Songnam Hong

分类: cs.LG

发布日期: 2025-04-14

💡 一句话要点

提出基于期望分位损失的适度Actor-Critic方法，抑制Q函数过估计偏差

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 Actor-Critic 过估计偏差 期望分位数 Q函数 深度学习 模型无关

📋 核心要点

  1. 模型无关强化学习中Q函数的过估计偏差是影响算法性能的关键问题。
  2. 论文提出通过优化Q函数及其下界，构建适度目标来抑制过估计，下界通过Q值分布的较低期望分位数估计。
  3. 实验表明，该方法能有效降低DDPG、SAC等算法的过估计偏差，提升算法性能。

📝 摘要（中文）

模型无关强化学习（MF-RL）中，由于时序差分学习和Q函数近似的原理，过估计是一个根本性的问题。为了解决这个挑战，我们提出了一种新的适度目标，用于Q函数更新，它被构建为过估计的Q函数及其下界的凸优化。我们的主要贡献在于通过Q值分布在给定状态下的较低期望分位数，有效地估计这个下界。值得注意的是，我们的适度目标可以无缝集成到最先进的（SOTA）MF-RL算法中，包括深度确定性策略梯度（DDPG）和软Actor-Critic（SAC）。实验结果验证了我们的适度目标在减轻DDPG、SAC和分布强化学习算法中的过估计偏差方面的有效性。

🔬 方法详解

问题定义：模型无关强化学习（MF-RL）算法，如DDPG和SAC，在Q函数更新过程中容易产生过估计偏差。这种偏差源于时序差分学习和函数近似，导致Q值被高估，进而影响策略的优化，最终降低算法的性能。现有方法虽然尝试解决这个问题，但往往引入额外的复杂性或限制。

核心思路：论文的核心思路是通过构建一个“适度目标”来更新Q函数，该目标位于过估计的Q函数及其下界之间。这样可以避免Q值被过度高估，同时保留一定的探索能力。关键在于如何有效地估计Q函数的下界。

技术框架：该方法的核心在于修改Q函数的更新目标。具体来说，传统的Q函数更新目标会被替换为一个适度目标，该目标是当前Q函数值和一个下界估计值的凸组合。下界估计是通过计算Q值分布的较低期望分位数来实现的。整个框架可以无缝集成到现有的Actor-Critic算法中，如DDPG和SAC。

关键创新：该方法最重要的创新点在于使用Q值分布的较低期望分位数来估计Q函数的下界。期望分位数对异常值不敏感，能够更稳定地估计Q值的真实下界。此外，将适度目标构建为凸优化问题，保证了算法的收敛性。

关键设计：关键参数包括期望分位数的置信水平（用于确定下界的保守程度）以及凸组合的权重（用于平衡当前Q函数值和下界估计值）。损失函数采用均方误差（MSE）来衡量Q函数的预测值与适度目标之间的差距。网络结构方面，可以采用任何适用于DDPG或SAC的网络结构，无需进行特殊修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的适度Actor-Critic方法在DDPG和SAC算法上均能有效降低Q函数的过估计偏差，并提升算法的性能。具体来说，在多个benchmark任务上，该方法相较于原始的DDPG和SAC算法，获得了显著的性能提升，并且在一些任务上甚至超过了其他先进的抑制过估计偏差的方法。

🎯 应用场景

该研究成果可广泛应用于机器人控制、游戏AI、自动驾驶等领域。通过降低Q函数的过估计偏差，可以提高强化学习算法的稳定性和学习效率，使其能够更好地解决实际问题。未来，该方法可以进一步扩展到其他类型的强化学习算法中，并与其他抑制过估计偏差的技术相结合，以获得更好的性能。

📄 摘要（原文）

Overestimation is a fundamental characteristic of model-free reinforcement learning (MF-RL), arising from the principles of temporal difference learning and the approximation of the Q-function. To address this challenge, we propose a novel moderate target in the Q-function update, formulated as a convex optimization of an overestimated Q-function and its lower bound. Our primary contribution lies in the efficient estimation of this lower bound through the lower expectile of the Q-value distribution conditioned on a state. Notably, our moderate target integrates seamlessly into state-of-the-art (SOTA) MF-RL algorithms, including Deep Deterministic Policy Gradient (DDPG) and Soft Actor Critic (SAC). Experimental results validate the effectiveness of our moderate target in mitigating overestimation bias in DDPG, SAC, and distributional RL algorithms.