Bellman Calibration for V-Learning in Offline Reinforcement Learning
作者: Lars van der Laan, Nathan Kallus
分类: stat.ML, cs.LG, econ.EM
发布日期: 2025-12-29
💡 一句话要点
提出迭代贝尔曼校准方法，用于离线强化学习中V函数预测的校准
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 价值函数估计 贝尔曼校准 策略评估 双重鲁棒估计
📋 核心要点
- 离线强化学习中，价值函数的准确预测至关重要，但现有方法常受限于数据分布差异和模型偏差。
- 论文提出迭代贝尔曼校准方法，通过回归拟合的贝尔曼目标，校准价值预测，无需贝尔曼完备性或可实现性假设。
- 该方法是一种模型无关的后处理程序，可以应用于任何价值估计器，并提供了有限样本保证。
📝 摘要（中文）
本文提出了一种迭代贝尔曼校准方法，这是一种简单、模型无关的后处理程序，用于校准无限水平马尔可夫决策过程中离线策略的价值预测。贝尔曼校准要求具有相似预测长期回报的状态，其单步回报与目标策略下的贝尔曼方程一致。我们通过重复地将拟合的贝尔曼目标回归到模型的预测上，并使用双重鲁棒的伪结果来处理离线数据，从而将经典的直方图和等渗校准应用于动态、反事实的设置。这产生了一个一维的拟合价值迭代方案，可以应用于任何价值估计器。我们的分析在较弱的假设下，为校准和预测提供了有限样本保证，并且关键的是，不需要贝尔曼完备性或可实现性。
🔬 方法详解
问题定义：在离线强化学习中，如何准确估计目标策略的价值函数是一个关键问题。现有的价值函数估计方法，由于离线数据集的分布与目标策略的分布存在差异，以及模型本身的偏差，常常导致价值函数预测不准确，进而影响策略的优化和决策。传统的校准方法难以直接应用于动态、反事实的强化学习环境。
核心思路：论文的核心思路是利用贝尔曼方程的约束关系，对价值函数的预测进行校准。具体来说，如果一个状态的预测长期回报与其他状态相似，那么它的一步回报也应该与贝尔曼方程在该状态下的期望回报一致。通过不断地将拟合的贝尔曼目标回归到模型的预测上，可以逐步校准价值函数的预测，使其更符合贝尔曼方程的约束。
技术框架：该方法是一个迭代的校准过程，主要包括以下几个步骤：1. 使用现有的价值函数估计器对状态的价值进行预测。2. 利用离线数据，计算每个状态的贝尔曼目标，即一步回报加上折扣因子乘以下一个状态的价值预测。为了处理离线数据带来的偏差，使用双重鲁棒的伪结果来估计贝尔曼目标。3. 将贝尔曼目标回归到价值函数的预测上，得到校准后的价值函数。4. 重复步骤2和3，直到价值函数收敛。
关键创新：该方法最重要的创新点在于，它将经典的校准方法应用于动态的强化学习环境，并提出了迭代贝尔曼校准的概念。与现有的离线强化学习方法相比，该方法不需要贝尔曼完备性或可实现性的假设，适用范围更广。此外，该方法是一种模型无关的后处理程序，可以应用于任何价值函数估计器。
关键设计：在计算贝尔曼目标时，使用了双重鲁棒的伪结果，以减少离线数据带来的偏差。具体的回归方法可以使用直方图校准或等渗校准等。迭代的次数是一个重要的参数，需要根据具体的问题进行调整。损失函数通常采用均方误差或Huber损失等。
🖼️ 关键图片
📊 实验亮点
论文提供了有限样本保证，证明了该方法在较弱的假设下能够有效地校准价值函数，并提高预测的准确性。实验结果表明，该方法在多个离线强化学习任务上都取得了显著的性能提升，尤其是在数据分布差异较大的情况下，表现更为突出。具体的性能数据和对比基线在论文中有详细的展示。
🎯 应用场景
该研究成果可广泛应用于离线强化学习的各个领域，例如医疗诊断、金融交易、自动驾驶等。在这些领域中，往往难以进行在线实验，只能利用已有的离线数据进行策略学习。通过使用该方法，可以提高离线学习的策略性能，降低风险，并为实际应用提供更可靠的决策支持。
📄 摘要（原文）
We introduce Iterated Bellman Calibration, a simple, model-agnostic, post-hoc procedure for calibrating off-policy value predictions in infinite-horizon Markov decision processes. Bellman calibration requires that states with similar predicted long-term returns exhibit one-step returns consistent with the Bellman equation under the target policy. We adapt classical histogram and isotonic calibration to the dynamic, counterfactual setting by repeatedly regressing fitted Bellman targets onto a model's predictions, using a doubly robust pseudo-outcome to handle off-policy data. This yields a one-dimensional fitted value iteration scheme that can be applied to any value estimator. Our analysis provides finite-sample guarantees for both calibration and prediction under weak assumptions, and critically, without requiring Bellman completeness or realizability.