Improved Model-based Reinforcement Learning with Smooth Kernels

📄 arXiv: 2605.07218v1 📥 PDF

作者: Kun Long, Yuqiang Li, Xianyi Wu

分类: cs.LG, stat.ML

发布日期: 2026-05-08

备注: 38 pages, 5 figures

💡 一句话要点

提出基于平滑核的在线强化学习方法，通过Bernstein风格探索奖励优化遗憾界

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 核平滑 遗憾界 在线学习 马尔可夫决策过程 Lipschitz连续性 Bernstein不等式

📋 核心要点

  1. 现有低秩MDP方法虽具样本效率，但对环境结构假设过于严苛，限制了其在复杂连续空间中的通用性。
  2. 本文提出一种基于核平滑的在线强化学习框架，通过引入Bernstein风格的探索奖励，有效平衡了模型估计与探索。
  3. 理论分析表明，该方法在有限时域设置下显著优化了遗憾界，特别是在对时域长度的依赖性上表现优异。

📝 摘要（中文）

在连续状态-动作空间场景中，经典的强化学习理论主要集中于低秩马尔可夫决策过程（MDP），这类方法虽能提供样本效率保证，但依赖于严格的结构假设。基于核平滑的基于模型（Model-based）方法提供了一种有前景的替代范式，它利用MDP的平滑性，并采用非参数核平滑估计来处理转移动态。本文针对Lipschitz连续性假设下的有限时域在线强化学习，提出了一种新的核平滑模型方法。通过将Bernstein风格的探索奖励（Exploration Bonus）整合进核平滑框架，该方法在遗憾界（Regret Bound）上实现了对时域依赖性的改进，优于现有最优水平。这一理论进展依赖于对Bernstein风格奖励与核平滑之间协同作用的精细分析，其中推导出的新型紧致Bernstein型鞅集中不等式具有独立的学术价值。

🔬 方法详解

问题定义：论文旨在解决连续状态-动作空间中，传统低秩MDP假设过于受限的问题。现有基于核平滑的方法在处理探索与利用的平衡时，往往难以在理论上达到最优的遗憾界，特别是在时域长度（Horizon）的依赖性上存在优化空间。

核心思路：利用MDP的Lipschitz连续性，采用非参数核平滑估计转移概率。核心思想是将Bernstein风格的探索奖励引入核平滑框架，通过利用方差信息来减少不确定性，从而在保证收敛性的同时提升样本效率。

技术框架：整体流程包括：1. 基于历史数据构建核平滑转移模型；2. 计算包含Bernstein风格奖励的置信区间；3. 在有限时域内进行规划与策略更新；4. 通过迭代采样与模型更新，不断优化策略以最小化累积遗憾。

关键创新：最重要的创新在于将Bernstein型探索奖励与核平滑估计相结合，并推导出了一个新的紧致Bernstein型鞅集中不等式。这种结合使得算法能够更精准地量化模型估计误差，从而在理论上实现了对时域依赖性的改进。

关键设计：关键设计在于核函数的选择与带宽参数的自适应调整，以及Bernstein奖励项中对转移概率方差的精确估计。这些设计确保了在Lipschitz连续性假设下，模型能够有效处理状态空间的连续性，同时保持理论上的遗憾界最优性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文的主要亮点在于理论层面的突破，成功将遗憾界对时域长度的依赖性进行了优化，超越了现有的最优基线。此外，文中推导出的新型紧致Bernstein型鞅集中不等式，不仅支撑了算法的性能提升，还为强化学习理论分析提供了新的数学工具，具有重要的学术参考价值。

🎯 应用场景

该研究适用于机器人控制、自动驾驶及复杂工业过程控制等需要处理连续状态与动作空间的场景。由于其对环境结构假设较弱，该方法在模型动态未知且具有平滑特性的实际物理系统中具有极高的应用价值，为实现更高效、更具鲁棒性的在线学习提供了理论支撑。

📄 摘要（原文）

For continuous state-action space scenarios, classical reinforcement learning (RL) theory predominantly focuses on low-rank Markov decision processes (MDPs), which provide sample-efficient guarantees at the expense of restrictive structural assumptions. Kernel smoothing model-based approaches offer a promising alternative paradigm that instead leverages the smoothness of the MDP and employs non-parametric kernel smoothing estimates of transition dynamics. This paper proposes a new kernel-smoothing model-based approach for online reinforcement learning in finite-horizon settings under Lipschitz continuity assumptions on the MDP. By incorporating a Bernstein-style exploration bonus into the kernel smoothing framework, our method achieves a regret bound which improves upon the state-of-the-art regret bound in its dependence on the horizon. The theoretical advancement relies on a delicate analysis of the synergy between Bernstein-style bonuses and kernel smoothing, where a new tight Bernstein-type concentration inequality for martingales may be of independent interest.