Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parameteric Policies

📄 arXiv: 2602.23811v1 📥 PDF

作者: Xiang Li, Nan Jiang, Yuheng Zhang

分类: cs.LG, cs.AI

发布日期: 2026-02-27

💡 一句话要点

提出基于参数化策略的离线策略优化方法，扩展至大动作空间

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 参数化策略 Mirror Descent 自然策略梯度 策略优化

📋 核心要点

  1. 现有离线强化学习算法，如PSPI，仅适用于有限小动作空间，无法处理大规模或连续动作空间。
  2. 论文将mirror descent扩展到参数化策略，通过连接mirror descent和自然策略梯度，解决上下文耦合问题。
  3. 研究统一了离线强化学习和模仿学习，为离线策略优化提供了新的理论保证和算法思路。

📝 摘要（中文）

本文研究了通用函数逼近下的离线强化学习（RL）的理论方面。虽然之前的工作（例如，Xie et al., 2021）已经建立了通过悲观性从离线数据中学习良好策略的理论基础，但现有的在计算上易于处理的算法（通常在oracle-efficient意义上），例如PSPI，仅适用于有限且小的动作空间。此外，这些算法依赖于state-wise mirror descent，并且需要从critic函数隐式地导出actor，无法适应实践中普遍存在的独立策略参数化。在这项工作中，我们解决了这些限制，并将理论保证扩展到大型或连续动作空间上的参数化策略类。当将mirror descent扩展到参数化策略时，我们确定了上下文耦合是核心难点，并展示了如何将mirror descent连接到自然策略梯度，从而产生新的分析、保证和算法见解，包括离线RL和模仿学习之间令人惊讶的统一。

🔬 方法详解

问题定义：现有离线强化学习算法，如PSPI，在处理大规模或连续动作空间时存在局限性。这些算法依赖于state-wise mirror descent，并且actor策略通常需要从critic函数中隐式导出，无法直接对策略进行参数化，限制了其在实际应用中的灵活性。因此，如何设计一种能够处理参数化策略，并适用于大动作空间的离线策略优化算法是一个关键问题。

核心思路：论文的核心思路是将mirror descent扩展到参数化策略空间，并利用自然策略梯度来解决上下文耦合问题。通过将mirror descent与自然策略梯度联系起来，可以推导出新的分析结果，并为离线策略优化提供理论保证。此外，该方法还揭示了离线强化学习和模仿学习之间的内在联系，为算法设计提供了新的视角。

技术框架：该方法的核心框架包括以下几个关键步骤：首先，定义参数化的策略类，允许直接对策略进行优化。其次，利用mirror descent算法在策略空间中进行迭代更新。为了解决上下文耦合问题，将mirror descent与自然策略梯度相结合，利用自然梯度来指导策略更新的方向。最后，通过理论分析，证明该方法能够有效地学习到良好的离线策略，并提供相应的性能保证。

关键创新：该论文最重要的技术创新在于将mirror descent扩展到参数化策略空间，并利用自然策略梯度来解决上下文耦合问题。与现有方法相比，该方法能够直接对策略进行参数化，适用于大规模或连续动作空间。此外，该方法还揭示了离线强化学习和模仿学习之间的内在联系，为算法设计提供了新的视角。

关键设计：论文的关键设计包括：1) 选择合适的参数化策略类，例如神经网络，以表示复杂的策略函数。2) 使用KL散度作为mirror descent中的正则化项，以保证策略更新的稳定性。3) 利用自然策略梯度来估计策略更新的方向，并采用合适的步长进行更新。4) 设计合适的损失函数，例如悲观策略迭代（PSPI）的损失函数，以保证算法的收敛性。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过理论分析证明了所提出的方法能够有效地学习到良好的离线策略，并提供了相应的性能保证。此外，该方法还揭示了离线强化学习和模仿学习之间的内在联系，为算法设计提供了新的视角。具体的实验结果（如果论文中有）未知，但理论分析表明该方法具有良好的性能。

🎯 应用场景

该研究成果可应用于各种离线强化学习场景，例如机器人控制、自动驾驶、推荐系统和医疗决策等。通过利用离线数据学习策略，可以避免在线探索带来的风险和成本，提高学习效率和安全性。此外，该方法还可以用于模仿学习，将专家经验迁移到新的任务中。

📄 摘要（原文）

We investigate the theoretical aspects of offline reinforcement learning (RL) under general function approximation. While prior works (e.g., Xie et al., 2021) have established the theoretical foundations of learning a good policy from offline data via pessimism, existing algorithms that are computationally tractable (often in an oracle-efficient sense), such as PSPI, only apply to finite and small action spaces. Moreover, these algorithms rely on state-wise mirror descent and require actors to be implicitly induced from the critic functions, failing to accommodate standalone policy parameterization which is ubiquitous in practice. In this work, we address these limitations and extend the theoretical guarantees to parameterized policy classes over large or continuous action spaces. When extending mirror descent to parameterized policies, we identify contextual coupling as the core difficulty, and show how connecting mirror descent to natural policy gradient leads to novel analyses, guarantees, and algorithmic insights, including a surprising unification between offline RL and imitation learning.