Near Minimax Rate for Quantile Distributional Reinforcement Learning

📄 arXiv: 2610.29595v1 📥 PDF

作者: Zijie Cheng, Zhihua Zhang

分类: stat.ML, cs.LG

发布日期: 2026-10-21

💡 一句话要点

提出量化分布强化学习的新方法以提高策略评估精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量化分布 强化学习 策略评估 Wasserstein距离 误差界限 马尔可夫决策过程 统计精度

📋 核心要点

  1. 现有的量化分布策略评估方法在统计精度和误差界限上存在不足，尤其是在不同分辨率下的表现不一致。
  2. 本文提出了一种新的量化不动点估计器，通过经验马尔可夫决策过程构建，利用Wasserstein距离分析误差界限。
  3. 研究结果表明，在奖励密度均匀远离零的情况下，能够实现根-$n$的高概率界限，且在特定条件下保持分辨率无关的速率。

📝 摘要（中文）

本文研究了量化分布策略评估，其中在给定策略下的回报分布通过量化贝尔曼不动点$mη_m$进行近似。我们探讨了在Wasserstein距离下估计$mη_m$的统计精度。假设可以访问生成模型，我们从经验马尔可夫决策过程中构建了量化不动点估计器$mη_m^{(n)}$，并在Wasserstein距离下建立了非渐近误差界限。当奖励密度均匀远离零时，我们获得了在所有分辨率$m$和所有Wasserstein阶数$1 extless p extless extinfty$下的根-$n$高概率界限。当奖励密度在支持端点处消失时，我们证明了连续性和端点单调性足以保持相同的分辨率无关速率。对于$p extgreater2$，我们建立了一个根-$n$界限，系数为$m^{1/2-1/p}$，以及一个较慢的、分辨率无关的$n^{-1/p}$界限。我们进一步获得了由奖励量化函数的连续性模所支配的分辨率无关$W_ extinfty$一致性。

🔬 方法详解

问题定义：本文旨在解决量化分布策略评估中的统计精度问题，现有方法在不同分辨率下的误差界限表现不佳，影响了策略评估的可靠性。

核心思路：通过构建量化不动点估计器$mη_m^{(n)}$，利用生成模型和经验马尔可夫决策过程，研究在Wasserstein距离下的误差界限，从而提高策略评估的精度。

技术框架：整体架构包括生成模型的构建、经验马尔可夫决策过程的应用，以及基于Wasserstein距离的误差分析。主要模块包括量化不动点估计、误差界限推导和局部风险分析。

关键创新：本文的主要创新在于在奖励密度均匀远离零的情况下，首次实现了根-$n$的高概率界限，并在奖励密度消失的情况下证明了连续性和单调性对保持分辨率无关速率的必要性。

关键设计：关键设计包括对奖励密度的假设、Wasserstein距离的选择，以及在不同分辨率下的误差界限推导，确保了估计器的有效性和一致性。

📊 实验亮点

实验结果表明，在奖励密度均匀远离零的情况下，所提出的估计器在所有分辨率下均实现了根-$n$的高概率界限，且在特定条件下保持了分辨率无关的速率。这一结果相比于现有方法有显著提升，验证了理论推导的有效性。

🎯 应用场景

该研究在量化分布强化学习领域具有重要应用潜力，尤其是在需要高精度策略评估的场景，如自动驾驶、金融决策和机器人控制等。通过提高策略评估的准确性，可以显著提升智能体在复杂环境中的决策能力和表现。

📄 摘要（原文）

In this paper, we study quantile distributional policy evaluation, where the return distribution under a given policy is approximated by the quantile Bellman fixed point $\bmη_m$. We investigate the statistical accuracy of estimating $\bmη_m$ across quantile resolutions under Wasserstein distances. Assuming access to a generative model, we construct a quantile fixed point estimator $\bmη_m^{(n)}$ from an empirical Markov decision process and establish non-asymptotic error bounds under Wasserstein distances. When reward densities are uniformly bounded away from zero, we obtain a root-$n$ high-probability bound simultaneously over all resolutions $m$ and all Wasserstein orders $1\le p\le\infty$. When reward densities vanish at the support endpoints, we show that continuity and endpoint monotonicity suffice to preserve the same resolution-independent rate for $1\le p\le2$. For $p>2$, we establish a root-$n$ bound with coefficient $m^{1/2-1/p}$, together with a slower, resolution-independent $n^{-1/p}$ bound for every finite $p>2$. We further obtain resolution-independent $W_\infty$ consistency governed by the continuity modulus of reward quantile functions. To investigate the sharpness of these bounds, we characterize the exact local asymptotic minimax risk at each fixed resolution as the expected Wasserstein-coordinate norm of the efficient Gaussian limit and prove that our estimator attains it. We then examine the resolution dependence of this optimal local risk. A regular one-state instance has resolution-independent local risk constants, whereas a single endpoint-vanishing two-state instance exhibits growth of order $m^{1/2-1/p}$, up to logarithmic factors along a resolution subsequence, for every $p>2$.