Statistical Efficiency and Inference of Quantile Distributional Reinforcement Learning

📄 arXiv: 2607.08444v1 📥 PDF

作者: Zijie Cheng, Yang Peng, Zhihua Zhang

分类: stat.ML, cs.LG

发布日期: 2026-07-09

💡 一句话要点

提出量化分布强化学习以提高统计效率与推断能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量化分布强化学习 统计效率 贝尔曼方程 马尔可夫决策过程 样本效率 渐近性质 推断理论

📋 核心要点

  1. 现有的分布强化学习方法在统计效率和推断能力上存在不足，尤其是在处理回报分布时的样本效率问题。
  2. 论文提出了一种基于量化的分布政策评估方法，通过构造量化固定点并利用经验马尔可夫决策过程进行估计。
  3. 研究结果表明，所提方法在样本效率上达到了最优的参数收敛速率，并在无穷维极限下保持渐近效率。

📝 摘要（中文）

本文研究了基于量化的分布强化学习，重点关注分布政策评估，旨在表征在给定策略下的回报分布。通过量化投影的贝尔曼方程，我们构造了基于经验马尔可夫决策过程的估计量，并在有限维表示下建立了非渐近误差界限，表明估计误差与样本数量和量化数目呈现良好的收敛性。此外，论文还探讨了在量化数目趋于无穷大的渐近情形下的效率界限，最终为量化投影回报分布的函数提供了统计有效的推断基础。

🔬 方法详解

问题定义：本文旨在解决量化分布强化学习中的统计效率问题，特别是在分布政策评估中如何有效表征回报分布。现有方法在样本效率和推断能力上存在局限性。

核心思路：论文通过引入量化固定点，利用量化投影的贝尔曼方程，构造基于经验马尔可夫决策过程的估计量，从而提高分布政策评估的样本效率。

技术框架：整体方法包括以下几个主要模块：首先，构建量化固定点；其次，利用经验数据构造估计量；最后，分析估计量的收敛性和渐近性质。

关键创新：最重要的技术创新在于建立了量化固定点的非渐近误差界限，显示了在固定量化数目下，估计误差与样本数量的关系，从而实现了最优的收敛速率。

关键设计：在参数设置上，固定量化数目m，并通过supremum $W_ ext{∞}$度量来评估误差。此外，论文还推导了量化参数的渐近分布，并建立了Berry–Esseen定理，为后续推断提供了理论基础。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果表明，所提出的量化分布政策评估方法在样本效率上达到了最优的$ ilde{O}( rac{1}{ ext{sqrt}(n)})$收敛速率，显著优于现有方法。此外，在量化数目趋于无穷大时，估计量仍然保持渐近效率，验证了理论推导的有效性。

🎯 应用场景

该研究在强化学习、机器人控制和决策支持系统等领域具有广泛的应用潜力。通过提高分布政策评估的统计效率，能够更好地处理复杂环境中的决策问题，提升智能体的学习与适应能力。

📄 摘要（原文）

In this paper, we study quantile-based distributional reinforcement learning from the perspective of statistical efficiency. We focus on distributional policy evaluation, whose goal is to characterize the return distribution, namely the distribution of discounted cumulative rewards under a given policy. To obtain a finite-dimensional representation of the return distribution, we consider the quantile fixed point $η_m$ induced by the quantile-projected distributional Bellman equation. Assuming access to a generative model, we construct an estimator $η_m^{(n)}$ based on an empirical Markov decision process. For a fixed number of quantiles $m$, we establish a non-asymptotic error bound for $η_m^{(n)}$ and $η_m$ under the supremum $W_\infty$ metric, showing that the estimation error scales as $\widetilde{O}(\sqrt{m/n})$ with respect to $m$ and $n$. This implies that the quantile-based distributional policy evaluation problem can be solved with sample efficiency, achieving the optimal parametric $\sqrt{n}$ convergence rate. We derive the asymptotic distribution of the quantile parameters $\sqrt{n}(θ_m^{(n)}-θ_m)$ and characterize the semiparametric efficiency bound, which is attained by our estimator. Beyond the fixed-dimensional setting, we investigate the asymptotic regime in which the number of quantiles diverges. We characterize the limit covariance structure and show that it matches the semiparametric efficiency bound of the nonparametric model for distributional policy evaluation, showing that quantile-based estimators remain asymptotically efficient in the infinite-dimensional limit. Finally, we establish a Berry--Esseen theorem for smooth functionals $\sqrt{n}(η_m^{(n)}(s)-η_m(s))f$, thereby providing a foundation for statistically valid inference on functionals of the quantile-projected return distribution.