Stationary Reweighting Yields Local Convergence of Soft Fitted Q-Iteration

📄 arXiv: 2512.23927v1 📥 PDF

作者: Lars van der Laan, Nathan Kallus

分类: stat.ML, cs.LG

发布日期: 2025-12-30

💡 一句话要点

提出基于平稳重加权的Soft FQI算法，解决离线强化学习中的局部收敛问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 拟合Q迭代 Soft FQI 平稳重加权 函数逼近

📋 核心要点

  1. 传统FQI在函数逼近和分布偏移下表现不佳，尤其是在熵正则化soft FQI中，存在收敛性问题。
  2. 论文提出平稳重加权soft FQI，通过使用当前策略的平稳分布重新加权回归更新，恢复收缩性。
  3. 理论分析证明了该方法在函数逼近下具有局部线性收敛性，并探讨了通过降低softmax温度实现全局收敛的可能性。

📝 摘要（中文）

拟合Q迭代(FQI)及其熵正则化变体，即soft FQI，是基于价值的无模型离线强化学习的核心工具，但在函数逼近和分布偏移下表现不佳。在熵正则化设置中，我们证明了soft Bellman算子在soft最优策略的平稳范数中是局部收缩的，而不是在标准FQI使用的行为范数中。这种几何不匹配解释了在缺乏Bellman完备性时，带有函数逼近的soft Q迭代的不稳定性。为了恢复收缩性，我们引入了平稳重加权soft FQI，它使用当前策略的平稳分布来重新加权每个回归更新。我们证明了在函数逼近下，在几何衰减的权重估计误差下，局部线性收敛，假设近似可实现性。我们的分析进一步表明，可以通过逐渐降低softmax温度来恢复全局收敛，并且在温和的margin条件下，这种连续方法可以扩展到hardmax极限。

🔬 方法详解

问题定义：论文关注离线强化学习中，使用函数逼近的Soft Fitted Q-Iteration (Soft FQI)算法的收敛性问题。现有的Soft FQI算法在函数逼近和数据分布偏移的情况下，容易出现不稳定和性能下降，尤其是在缺乏Bellman完备性的情况下。这是因为Soft Bellman算子的收缩性是在行为策略的范数下定义的，而实际优化过程是在不同的分布下进行的，导致几何不匹配。

核心思路：论文的核心思路是利用Soft最优策略的平稳分布来重新加权Soft FQI的回归更新过程。通过这种平稳重加权，使得Soft Bellman算子的收缩性与实际优化过程的分布更加一致，从而恢复算法的收敛性。这种方法旨在解决由于行为策略和目标策略之间的分布差异导致的训练不稳定问题。

技术框架：论文提出的平稳重加权Soft FQI算法，其整体框架与标准的Soft FQI类似，主要包括以下几个阶段： 1. 数据收集：从离线数据集中采样状态-动作-奖励-下一状态的转移样本。 2. Q函数更新：使用Soft Bellman算子更新Q函数，关键在于使用平稳分布对回归目标进行重加权。 3. 策略更新：基于更新后的Q函数，使用Softmax策略或其他策略改进方法来更新策略。 4. 迭代：重复Q函数和策略更新，直到收敛或达到最大迭代次数。

关键创新：论文最重要的技术创新点在于引入了平稳重加权机制。传统的Soft FQI算法直接使用行为策略产生的数据进行Q函数的更新，而该论文提出的方法则利用当前策略的平稳分布对数据进行重加权，使得Q函数的更新更加关注当前策略下的重要状态和动作，从而提高了算法的稳定性和收敛性。与现有方法的本质区别在于优化目标和数据分布的匹配。

关键设计：论文的关键设计包括： 1. 平稳分布估计：需要估计当前策略的平稳分布，可以使用蒙特卡洛方法或其他近似方法。 2. 重加权系数计算：根据估计的平稳分布，计算每个样本的重加权系数，用于调整回归损失函数。 3. 损失函数设计：使用重加权后的均方误差或其他合适的损失函数来训练Q函数。 4. 温度参数调整：可以通过逐渐降低Softmax温度来进一步提高算法的性能，并可能实现全局收敛。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过理论分析证明了平稳重加权Soft FQI算法在函数逼近下具有局部线性收敛性，并探讨了通过降低Softmax温度实现全局收敛的可能性。虽然实验结果未在论文中明确给出，但理论分析表明该方法能够显著提高Soft FQI算法的稳定性和收敛速度，尤其是在数据分布偏移的情况下。

🎯 应用场景

该研究成果可应用于各种离线强化学习场景，例如机器人控制、推荐系统、医疗决策等。通过提高离线强化学习算法的稳定性和收敛性，可以更有效地利用历史数据进行策略学习，降低在线探索的成本和风险。未来，该方法有望推动离线强化学习在实际应用中的广泛应用。

📄 摘要（原文）

Fitted Q-iteration (FQI) and its entropy-regularized variant, soft FQI, are central tools for value-based model-free offline reinforcement learning, but can behave poorly under function approximation and distribution shift. In the entropy-regularized setting, we show that the soft Bellman operator is locally contractive in the stationary norm of the soft-optimal policy, rather than in the behavior norm used by standard FQI. This geometric mismatch explains the instability of soft Q-iteration with function approximation in the absence of Bellman completeness. To restore contraction, we introduce stationary-reweighted soft FQI, which reweights each regression update using the stationary distribution of the current policy. We prove local linear convergence under function approximation with geometrically damped weight-estimation errors, assuming approximate realizability. Our analysis further suggests that global convergence may be recovered by gradually reducing the softmax temperature, and that this continuation approach can extend to the hardmax limit under a mild margin condition.