Value Mirror Descent for Reinforcement Learning

📄 arXiv: 2604.06039v1 📥 PDF

作者: Zhichao Jia, Guanghui Lan

分类: math.OC, cs.LG, math.PR

发布日期: 2026-04-07

💡 一句话要点

提出值镜下降法以优化强化学习中的价值迭代

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 价值迭代 镜面下降法 样本复杂度 策略收敛 方差减少 凸优化

📋 核心要点

  1. 现有的强化学习方法在样本复杂度和折扣因子的依赖性上存在不足，尤其是在离线训练和模拟环境中表现不佳。
  2. 本文提出的值镜下降法（VMD）将镜面下降法引入经典的价值迭代框架，提供了一种新的价值优化思路。
  3. SVMD在样本复杂度上达到了近似最优的水平，并且在高精度情况下表现出显著的性能提升，证明了生成策略收敛到最优策略。

📝 摘要（中文）

值迭代类方法在强化学习中被广泛研究，用于计算近似最优的价值函数。本文提出了一种新颖的价值优化方法，称为值镜下降法（VMD），将凸优化中的镜面下降法整合到经典的价值迭代框架中。在已知转移核的确定性环境中，VMD展示了线性收敛性。在随机环境下，我们开发了随机变体SVMD，结合了随机价值迭代方法中常用的方差减少技术。SVMD在具有一般凸正则化器的强化学习问题中，达到了近似最优的样本复杂度，并且在迭代过程中生成的策略与最优策略之间的Bregman散度保持有界。这一特性在现有的随机价值迭代方法中是缺失的，但对于离线训练后的有效在线学习至关重要。

🔬 方法详解

问题定义：本文旨在解决强化学习中价值迭代方法的样本复杂度问题，尤其是在离线训练和随机环境下的挑战。现有方法在这些场景中往往表现不佳，难以有效利用样本。

核心思路：论文提出的值镜下降法（VMD）通过将镜面下降法引入经典价值迭代框架，优化了价值函数的计算过程，特别是在处理随机性和不确定性时。

技术框架：VMD的整体架构包括确定性和随机两种设置。在确定性环境中，VMD展示了线性收敛性；在随机环境中，SVMD结合了方差减少技术，提升了样本效率。

关键创新：VMD的最大创新在于引入了Bregman散度的有界性，这一特性在现有的随机价值迭代方法中并不存在，极大地促进了离线训练后的在线学习能力。

关键设计：SVMD在设计上采用了强凸正则化器，样本复杂度达到了$ ilde{O}(|S||A|(1-γ)^{-5}ε^{-1})$，并且在高精度场景下表现优异。

📊 实验亮点

实验结果表明，SVMD在样本复杂度上达到了$ ilde{O}(|S||A|(1-γ)^{-3}ε^{-2})$，在高精度情况下，样本复杂度进一步降低至$ ilde{O}(|S||A|(1-γ)^{-5}ε^{-1})$，相较于现有方法有显著提升。此外，生成的策略成功收敛到最优策略，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等强化学习场景。通过优化价值迭代过程，VMD和SVMD能够在离线训练后实现更高效的在线学习，提升智能体的决策能力和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Value iteration-type methods have been extensively studied for computing a nearly optimal value function in reinforcement learning (RL). Under a generative sampling model, these methods can achieve sharper sample complexity than policy optimization approaches, particularly in their dependence on the discount factor. In practice, they are often employed for offline training or in simulated environments. In this paper, we consider discounted Markov decision processes with state space S, action space A, discount factor $γ\in(0,1)$ and costs in $[0,1]$. We introduce a novel value optimization method, termed value mirror descent (VMD), which integrates mirror descent from convex optimization into the classical value iteration framework. In the deterministic setting with known transition kernels, we show that VMD converges linearly. For the stochastic setting with a generative model, we develop a stochastic variant, SVMD, which incorporates variance reduction commonly used in stochastic value iteration-type methods. For RL problems with general convex regularizers, SVMD attains a near-optimal sample complexity of $\tilde{O}(|S||A|(1-γ)^{-3}ε^{-2})$. Moreover, we establish that the Bregman divergence between the generated and optimal policies remains bounded throughout the iterations. This property is absent in existing stochastic value iteration-type methods but is important for enabling effective online (continual) learning following offline training. Under a strongly convex regularizer, SVMD achieves sample complexity of $\tilde{O}(|S||A|(1-γ)^{-5}ε^{-1})$, improving performance in the high-accuracy regime. Furthermore, we prove convergence of the generated policy to the optimal policy. Overall, the proposed method, its analysis, and the resulting guarantees, constitute new contributions to the RL and optimization literature.