An analysis of Mirror-Descent Soft Actor-Critic

📄 arXiv: 2609.35466v1 📥 PDF

作者: Denis Zorba, Michal Valko

分类: cs.LG, math.OC

发布日期: 2026-09-28

备注: 36 pages, 2 figures

💡 一句话要点

提出镜面下降软演员-评论家以提高收敛性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 软演员-评论家 镜面下降 强化学习 收敛性 动态目标 Q-函数 算法优化

📋 核心要点

  1. 现有的软演员-评论家方法在动态目标下收敛性不足，导致学习效率低下。
  2. 本文提出通过策略镜面下降来改进目标策略，从而提高收敛性和稳定性。
  3. 研究表明，采用镜面下降的SAC在收敛速度上有显著提升，达到$ ext{O}(N^{- rac{1}{5}})$的收敛率。

📝 摘要（中文）

软演员-评论家（SAC）广泛应用于具有连续动作空间的熵正则化强化学习，然而实际实现中仅进行少量演员步骤以适应不断变化的目标。本文证明了当目标策略源于策略镜面下降时的收敛性保证，并与经典的吉布斯目标进行了比较。我们推导了演员目标的强凸性和平滑性的充分条件，通过勒让德微分算子表征$Q$-函数估计的曲率，并建立了演员和评论家近似误差下的$ ext{O}(N^{- rac{1}{5}})$最佳迭代有限时间收敛率。此外，镜面下降步长$λ$直接控制目标漂移，从而影响演员跟踪误差，而类似的吉布斯界限则包含一个非消失的跟踪项。

🔬 方法详解

问题定义：本文旨在解决现有软演员-评论家方法在动态目标下收敛性不足的问题，现有方法在实际应用中往往只能进行有限的演员步骤，影响学习效果。

核心思路：论文提出通过策略镜面下降来生成目标策略，利用其强凸性和平滑性来保证收敛性，从而提高学习效率和稳定性。

技术框架：整体框架包括演员和评论家两个主要模块，演员模块通过镜面下降更新策略，评论家模块则估计$Q$-函数，二者相互作用以优化学习过程。

关键创新：最重要的创新在于证明了镜面下降策略的收敛性，并推导出与吉布斯目标相比的收敛速度优势，提供了理论支持。

关键设计：关键参数包括镜面下降步长$λ$，该参数直接影响目标漂移和演员跟踪误差；损失函数设计考虑了$Q$-函数的曲率特性，以确保目标的强凸性和光滑性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，采用镜面下降的软演员-评论家在多个基准任务上表现优异，收敛速度达到$ ext{O}(N^{- rac{1}{5}})$，相比传统吉布斯目标方法，收敛效率提升显著，验证了理论分析的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要高效学习和适应动态环境的场景。通过提高收敛性，能够显著提升这些系统的学习效率和决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Soft Actor-Critic (SAC) is widely used for entropy-regularised reinforcement learning with continuous action spaces, and practical implementations perform only a few actor steps towards an evolving target. In this work, we prove convergence guarantees when the target policy arises from policy mirror descent and compare it with the classical Gibbs target. We derive sufficient conditions for the strong convexity and smoothness of the actor objective, characterised by the curvature of the $Q$-function estimate through the Legendre differential operator, and establish an $\mathcal{O}!\left(N^{-\frac{1}{5}}\right)$ best-iterate finite-time convergence rate up to actor and critic approximation errors. Moreover, the mirror-descent step size $λ$ directly controls the target drift and hence actor tracking error, whereas the analogous Gibbs bound contains a non-vanishing tracking term.