Model-based Bootstrap for Offline Policy Evaluation in Tabular Reinforcement Learning

📄 arXiv: 2609.20389v1 📥 PDF

作者: Weiwei Wang, Yuqiang Li, Xianyi Wu, Bingyi Jing

分类: stat.ML, cs.LG

发布日期: 2026-09-17

💡 一句话要点

提出基于模型的自助法以解决离线策略评估中的不确定性量化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线策略评估 不确定性量化 马尔可夫决策过程 自助法 强化学习 统计效率

📋 核心要点

  1. 现有的离线策略评估方法在鲁棒性、可扩展性和有限样本有效性方面存在不足，难以满足高风险应用的需求。
  2. 本文提出了一种基于模型的自助法，通过从估计的MDP中再生轨迹，灵活处理多种离线数据格式，提升不确定性量化的效率。
  3. 实验结果显示，该方法在大多数设置下能够更准确地捕捉OPE估计器的采样分布，提供更紧凑的置信区间和更准确的方差估计。

📝 摘要（中文）

离线策略评估（OPE）在高风险强化学习应用中至关重要，需在部署前可靠评估新策略。仅依赖点估计不足以满足需求，必须进行原则性的不确定性量化，如置信区间和方差估计。现有方法常面临鲁棒性、可扩展性或有限样本有效性不足的问题。本文提出了一种基于模型的自助法框架，用于有限时域、时间非齐次马尔可夫决策过程（MDP）的OPE不确定性量化。与传统自助法依赖于重采样完整轨迹不同，该方法从估计的MDP中再生轨迹，能够处理更广泛的离线数据格式，提升有限样本统计效率。我们建立了自助分布一致性、渐近有效的置信区间和一致的方差估计。大量仿真实验表明，该方法准确捕捉OPE估计器的采样分布，提供更紧凑的置信区间和更准确的方差估计。

🔬 方法详解

问题定义：本文旨在解决离线策略评估中的不确定性量化问题。现有方法通常依赖于完整轨迹的重采样，导致在处理多样化的离线数据时表现不佳，且缺乏足够的鲁棒性和有效性。

核心思路：提出的基于模型的自助法通过从估计的马尔可夫决策过程（MDP）再生轨迹，能够灵活适应不同格式的离线数据，如完整轨迹、转移级观察和轨迹片段，从而提升统计效率。

技术框架：该方法的整体架构包括三个主要模块：首先，构建一个估计的MDP；其次，从该MDP中生成新的轨迹；最后，利用生成的轨迹进行OPE的不确定性量化，包括置信区间和方差估计。

关键创新：最重要的技术创新在于通过模型重生轨迹的方式，克服了传统自助法的局限性，能够处理更广泛的离线数据格式，并且在有限样本情况下保持统计一致性。

关键设计：在参数设置上，模型的估计过程需要考虑数据的多样性，损失函数设计上则关注于轨迹生成的准确性和有效性，以确保最终的OPE结果具有较高的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的方法在大多数设置下能够准确捕捉OPE估计器的采样分布，相比于传统方法，置信区间更紧凑，方差估计更准确，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医疗决策、金融投资和自动驾驶等高风险强化学习场景。在这些领域，可靠的策略评估对于安全决策至关重要。未来，该方法有望推动更广泛的离线学习应用，提升决策的安全性和有效性。

📄 摘要（原文）

Offline policy evaluation (OPE) is crucial in high-stakes reinforcement learning applications, where new policies must be assessed reliably before deployment. In such settings, point estimates alone are insufficient; principled uncertainty quantification, such as confidence intervals and variance estimates, is essential for safe and risk-aware decision-making. A comprehensive way to unify these tasks is to estimate the sampling distribution of the evaluation error. Existing approaches, however, often suffer from limited robustness, scalability, or finite-sample validity. In this paper, we propose a model-based bootstrap framework for uncertainty quantification of OPE in finite-horizon, time-inhomogeneous Markov decision processes (MDPs). Unlike classical bootstrap methods that rely on resampling complete episodes, the proposed method regenerates trajectories from an estimated MDP and can therefore accommodate a much broader range of offline data formats, including complete trajectories, transition-level observations, and trajectory fragments. This flexibility further improves finite-sample statistical efficiency. We establish bootstrap distributional consistency, asymptotically valid confidence intervals, and consistent variance estimation for the target policy value. Extensive simulations show that the proposed method accurately captures the sampling distribution of the OPE estimator, yielding tighter confidence intervals and more accurate variance estimates in most settings.