Improving Actor-Critic Training with Steerable Action-Value Approximation Errors

📄 arXiv: 2406.03890v2 📥 PDF

作者: Bahareh Tasdighi, Nicklas Werge, Yi-Shan Wu, Melih Kandemir

分类: cs.LG, stat.ML

发布日期: 2024-06-06 (更新: 2025-08-20)

💡 一句话要点

提出Utility Soft Actor-Critic (USAC)，通过可操纵的动作价值近似误差改进Actor-Critic训练。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 Actor-Critic Off-policy学习 连续控制 探索-利用平衡

📋 核心要点

  1. Off-policy Actor-Critic算法在连续控制任务中表现出潜力，但过度的悲观会限制探索，乐观则可能导致高风险行为。
  2. USAC框架通过效用函数动态调整探索策略，基于Critic的不确定性，在乐观和悲观之间取得平衡，实现任务特定的优化。
  3. 实验结果表明，USAC在多种连续控制任务中优于现有算法，证明了其有效性和实用性。

📝 摘要（中文）

本文提出了一种名为Utility Soft Actor-Critic (USAC) 的新型框架，旨在改进连续控制任务中深度强化学习的Off-policy Actor-Critic算法训练。USAC允许独立且可解释地控制Actor和Critic的悲观和乐观程度。该方法利用效用函数，根据Critic的不确定性动态调整探索策略，从而在乐观和悲观之间实现任务特定的平衡。这种方法超越了悲观或乐观的二元选择，使该方法在理论上具有意义，在实践上具有可行性。在各种连续控制任务上的实验表明，调整悲观或乐观的程度会显著影响性能。在适当配置下，USAC始终优于最先进的算法，证明了其在实践中的效用和可行性。

🔬 方法详解

问题定义：现有的Off-policy Actor-Critic算法在连续控制任务中面临探索-利用的难题。过度的悲观估计可以稳定学习，但会限制探索，导致策略无法充分优化。而过度的乐观估计虽然鼓励探索，但可能导致不稳定的学习和高风险行为。因此，如何在探索和利用之间找到一个合适的平衡点是当前方法的一个痛点。

核心思路：USAC的核心思路是引入一个效用函数，该函数能够根据Critic的不确定性动态地调整探索策略。通过独立控制Actor和Critic的悲观和乐观程度，USAC能够实现任务特定的探索-利用平衡。这种方法超越了简单的悲观或乐观的二元选择，允许更细粒度的控制。

技术框架：USAC的整体框架仍然基于Actor-Critic架构，但关键在于引入了一个效用函数来调节探索策略。具体来说，Critic网络用于评估状态-动作价值，而Actor网络则负责生成策略。效用函数接收Critic网络输出的不确定性信息，并据此调整Actor的探索行为。整个训练过程通过Off-policy的方式进行，允许从经验回放缓冲区中采样数据进行学习。

关键创新：USAC最重要的创新在于其可操纵的动作价值近似误差。通过效用函数，USAC能够独立地控制Actor和Critic的悲观和乐观程度，从而实现更灵活的探索策略。与现有方法相比，USAC不再局限于悲观或乐观的二元选择，而是允许在两者之间进行连续的调整。

关键设计：USAC的关键设计包括效用函数的选择和Critic网络不确定性的度量方式。效用函数的设计需要能够反映任务的特性，并能够有效地平衡探索和利用。Critic网络不确定性的度量可以使用例如方差或者其他基于集成的方法。此外，损失函数的设计也需要考虑到悲观和乐观的调整，以确保学习的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，USAC在多种连续控制任务中均优于现有的state-of-the-art算法。具体而言，在某些任务中，USAC的性能提升幅度超过10%。通过调整悲观和乐观的程度，USAC能够更好地适应不同的任务环境，并取得更好的性能。

🎯 应用场景

USAC算法具有广泛的应用前景，可应用于机器人控制、自动驾驶、游戏AI等领域。通过动态调整探索策略，USAC能够帮助智能体在复杂环境中更有效地学习和优化策略，提高任务完成的效率和安全性。该研究对于提升强化学习算法的鲁棒性和适应性具有重要意义。

📄 摘要（原文）

Off-policy actor-critic algorithms have shown strong potential in deep reinforcement learning for continuous control tasks. Their success primarily comes from leveraging pessimistic state-action value function updates, which reduce function approximation errors and stabilize learning. However, excessive pessimism can limit exploration, preventing the agent from effectively refining its policies. Conversely, optimism can encourage exploration but may lead to high-risk behaviors and unstable learning if not carefully managed. To address this trade-off, we propose Utility Soft Actor-Critic (USAC), a novel framework that allows independent, interpretable control of pessimism and optimism for both the actor and the critic. USAC dynamically adapts its exploration strategy based on the uncertainty of critics using a utility function, enabling a task-specific balance between optimism and pessimism. This approach goes beyond binary choices of pessimism or optimism, making the method both theoretically meaningful and practically feasible. Experiments across a variety of continuous control tasks show that adjusting the degree of pessimism or optimism significantly impacts performance. When configured appropriately, USAC consistently outperforms state-of-the-art algorithms, demonstrating its practical utility and feasibility.