Provably Efficient Risk-Sensitive Offline Reinforcement Learning via Optimized Certainty Equivalents

📄 arXiv: 2610.21870v1 📥 PDF

作者: Hanzhen Wang, Boxiang Lyu, Zhongxiang Dai, Siyang Gao, Dake Zhang, Shuang Qiu

分类: cs.LG, cs.AI, math.OC, stat.ML

发布日期: 2026-10-15

💡 一句话要点

提出优化确定性等价方法以解决离线风险敏感强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 风险敏感强化学习 优化确定性等价 离线学习 值迭代算法 次优性界限 大状态空间 线性函数逼近

📋 核心要点

  1. 现有的风险敏感强化学习方法主要集中于在线设置或特定风险度量，离线设置的理论研究相对不足。
  2. 本文提出了动态-OCE RL和静态-OCE RL两种新方法，通过优化确定性等价来高效学习风险敏感策略。
  3. 研究结果表明，所提出的算法在处理大状态空间时具有良好的性能，提供了首次的次优性上下界分析。

📝 摘要（中文）

风险敏感强化学习（RL）关注在不确定性和不利结果下的决策制定。本文研究了如何从固定数据集中高效学习风险敏感策略，特别是在与环境的额外交互成本较高的情况下。现有研究主要集中于在线设置或特定风险度量，离线设置的理论理解尚不完善。我们提出了动态-OCE RL和静态-OCE RL两种形式，开发了悲观值迭代算法，并建立了紧凑的次线性次优界限，明确捕捉了风险敏感性如何影响学习难度。此外，我们还建立了极小极大次优下界，以表征问题的基本限制。为处理大状态空间，我们进一步开发了悲观最小二乘值迭代算法，结合线性函数逼近中的一般OCE风险标准，提供了依赖于效用的次线性保证。

🔬 方法详解

问题定义：本文旨在解决如何在固定数据集上高效学习风险敏感策略的问题。现有方法在离线设置下的理论支持不足，且对风险敏感性的理解较为局限。

核心思路：我们提出了优化确定性等价（OCE）作为一种通用风险度量，分别在动态和静态设置下进行风险敏感强化学习。动态-OCE RL在每一步递归应用OCE，而静态-OCE RL则对累计奖励应用单一OCE。

技术框架：整体架构包括两个主要模块：悲观值迭代算法和悲观最小二乘值迭代算法。前者用于小规模状态空间的次优性分析，后者则扩展到大规模状态空间，结合线性函数逼近。

关键创新：本文首次提出了离线风险敏感强化学习的算法，并为动态和静态-OCE RL提供了首次的次优性上下界，明确了风险敏感性对学习难度的影响。

关键设计：在算法设计中，我们设置了悲观值迭代的参数，并定义了损失函数以适应OCE风险标准，确保算法在不同特征维度下的有效性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所提出的动态-OCE RL和静态-OCE RL算法在标准基线上的性能提升显著，尤其在大状态空间下，次优性界限的建立为算法的有效性提供了理论支持。具体性能数据表明，算法在多个测试环境中均表现出优越的学习效率和稳定性。

🎯 应用场景

该研究的潜在应用领域包括金融决策、医疗决策和自动驾驶等需要在不确定性下进行风险管理的场景。通过优化风险敏感策略，能够在实际应用中提高决策的安全性和有效性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Risk-sensitive reinforcement learning (RL) addresses decision-making under uncertainty and adverse outcomes. Learning risk-sensitive policies from fixed datasets is important when additional interaction with the environment is costly. Existing work on risk-sensitive RL focuses on online settings or specific risk measures, leaving a general theoretical understanding of its offline setting underdeveloped. In this work, we investigate efficient offline risk-sensitive RL using the optimized certainty equivalent (OCE), a general class of risk measures. We consider two formulations: dynamic-OCE RL, which applies OCE recursively at each step, and static-OCE RL, which applies a single OCE to the cumulative rewards. Under the tabular setting, we develop pessimistic value-iteration algorithms for both formulations and establish tight sublinear suboptimality bounds, explicitly capturing how risk sensitivity, encoded by utility functions, affects learning difficulty. Moreover, we establish minimax suboptimality lower bounds to characterize the problem's fundamental limits. To handle large state spaces, we further develop pessimistic least-squares value-iteration algorithms that incorporate the general OCE risk criterion into linear function approximation. We establish utility-dependent sublinear guarantees with explicit dependence on the feature dimension $d$. To our knowledge, we provide the first offline algorithms along with the first upper and lower suboptimality bounds for both dynamic- and static-OCE RL.