Continuous-time reinforcement learning: ellipticity enables model-free value function approximation

📄 arXiv: 2602.06930v1 📥 PDF

作者: Wenlong Mou

分类: cs.LG, math.OC, math.ST, stat.ML

发布日期: 2026-02-06

💡 一句话要点

利用椭圆性，提出连续时间强化学习中无模型值函数逼近方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 连续时间强化学习 无模型学习 函数逼近 马尔可夫扩散过程 椭圆性 贝尔曼算子 Q学习

📋 核心要点

  1. 现有强化学习方法在处理连续时间马尔可夫扩散过程时，常依赖不切实际的动力学结构假设，限制了其应用范围。
  2. 本文利用扩散过程的椭圆性，建立了贝尔曼算子的希尔伯特空间性质，为无模型强化学习提供了理论基础。
  3. 提出的Sobolev-prox拟合q学习算法，通过迭代求解最小二乘回归问题，有效地学习价值函数和优势函数，并推导出估计误差界限。

📝 摘要（中文）

本文研究了针对具有离散时间观测和动作的连续时间马尔可夫扩散过程的Off-policy强化学习。我们考虑了使用函数逼近的无模型算法，该算法直接从数据中学习价值函数和优势函数，而无需对动力学进行不切实际的结构假设。利用扩散过程的椭圆性，我们为贝尔曼算子建立了一类新的希尔伯特空间正定性和有界性。基于这些性质，我们提出了Sobolev-prox拟合q学习算法，该算法通过迭代求解最小二乘回归问题来学习价值函数和优势函数。我们推导了估计误差的oracle不等式，该不等式受以下因素控制：（i）函数类的最佳逼近误差，（ii）它们的局部复杂度，（iii）指数衰减的优化误差，以及（iv）数值离散化误差。这些结果表明，椭圆性是一个关键的结构性质，它使得马尔可夫扩散的函数逼近强化学习不比监督学习更难。

🔬 方法详解

问题定义：论文旨在解决连续时间马尔可夫扩散过程中的off-policy强化学习问题，尤其关注在没有精确动力学模型的情况下，如何有效地学习价值函数和优势函数。现有方法通常需要对系统动力学做出强假设，例如线性或高斯假设，这在实际应用中往往难以满足，限制了算法的泛化能力。此外，离散时间强化学习方法难以直接应用于连续时间系统，需要进行近似处理，可能引入误差。

核心思路：论文的核心思路是利用连续时间马尔可夫扩散过程的椭圆性。椭圆性保证了贝尔曼算子的良好性质，例如正定性和有界性，这使得我们可以使用函数逼近方法来学习价值函数和优势函数，而无需对动力学模型进行精确建模。通过将强化学习问题转化为一个回归问题，可以利用现有的函数逼近技术来解决。

技术框架：论文提出的Sobolev-prox拟合q学习算法主要包含以下几个阶段： 1. 数据收集：通过off-policy的方式收集状态、动作和奖励数据。 2. 特征提取：使用合适的特征表示方法将状态和动作映射到高维特征空间。 3. 价值函数逼近：使用最小二乘回归方法，基于收集到的数据和提取的特征，迭代地学习价值函数和优势函数。 4. 策略优化：基于学习到的价值函数，选择最优的动作。

关键创新：论文最重要的技术创新点在于发现了连续时间马尔可夫扩散过程的椭圆性与贝尔曼算子良好性质之间的联系。这一发现为无模型强化学习提供了理论基础，使得我们可以使用函数逼近方法来学习价值函数，而无需对动力学模型进行精确建模。此外，论文提出的Sobolev-prox拟合q学习算法，能够有效地利用椭圆性，实现高效的价值函数学习。

关键设计：论文的关键设计包括： 1. Sobolev空间：使用Sobolev空间作为函数逼近的空间，能够更好地利用椭圆性，提高学习效率。 2. Proximal项：在最小二乘回归问题中引入proximal项，能够提高算法的稳定性和收敛速度。 3. 局部复杂度：通过分析函数类的局部复杂度，可以更好地控制泛化误差。

📊 实验亮点

论文推导了估计误差的oracle不等式，表明在椭圆性条件下，强化学习的难度与监督学习相当。该结果为连续时间强化学习的理论分析提供了重要依据。算法的性能受到函数类的最佳逼近误差、局部复杂度、优化误差和数值离散化误差的控制。

🎯 应用场景

该研究成果可应用于连续控制任务，如机器人运动控制、自动驾驶、金融交易等领域。通过学习连续时间动态环境下的最优策略，可以实现更高效、更鲁棒的控制。此外，该研究为连续时间强化学习的理论分析提供了新的思路，有助于推动相关领域的发展。

📄 摘要（原文）

We study off-policy reinforcement learning for controlling continuous-time Markov diffusion processes with discrete-time observations and actions. We consider model-free algorithms with function approximation that learn value and advantage functions directly from data, without unrealistic structural assumptions on the dynamics. Leveraging the ellipticity of the diffusions, we establish a new class of Hilbert-space positive definiteness and boundedness properties for the Bellman operators. Based on these properties, we propose the Sobolev-prox fitted $q$-learning algorithm, which learns value and advantage functions by iteratively solving least-squares regression problems. We derive oracle inequalities for the estimation error, governed by (i) the best approximation error of the function classes, (ii) their localized complexity, (iii) exponentially decaying optimization error, and (iv) numerical discretization error. These results identify ellipticity as a key structural property that renders reinforcement learning with function approximation for Markov diffusions no harder than supervised learning.