Corruption-Robust Offline Reinforcement Learning with General Function Approximation

📄 arXiv: 2310.14550v3 📥 PDF

作者: Chenlu Ye, Rui Yang, Quanquan Gu, Tong Zhang

分类: cs.LG

发布日期: 2023-10-23 (更新: 2024-02-19)

期刊: Neurips 2023

💡 一句话要点

提出一种抗干扰的离线强化学习算法以应对样本污染问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 样本污染 鲁棒性 不确定性加权 马尔可夫决策过程 线性MDP 策略优化

📋 核心要点

  1. 现有的离线强化学习方法在面对样本污染时表现不佳，导致策略的鲁棒性不足。
  2. 论文提出了一种新的不确定性权重迭代程序，旨在提高离线强化学习算法对样本污染的鲁棒性。
  3. 在实验中，提出的算法在处理污染样本时表现出显著的性能提升，尤其是在线性MDP场景下。

📝 摘要（中文）

我们研究了在具有一般函数逼近的离线强化学习中，样本污染的鲁棒性问题。对手可以污染离线数据集中的每个样本，污染程度ζ≥0量化了在n个回合和H个步骤中的累计污染量。我们的目标是找到一种对这种污染具有鲁棒性的策略，并最小化与未污染的马尔可夫决策过程（MDP）最优策略的次优性差距。借鉴鲁棒在线强化学习中的不确定性加权技术，我们设计了一种新的不确定性权重迭代程序，以高效计算批量样本，并提出了一种抗污染的离线强化学习算法。在单策略覆盖和已知ζ的假设下，我们的算法实现了次优性界限，受到污染影响的附加因子为O(ζ(C(ℱ^,μ)n)^{-1})。当专门针对线性MDP时，污染相关的误差项简化为O(ζd n^{-1})，与现有的线性MDP下的下界相匹配，表明我们的分析在污染相关项上是紧致的。

🔬 方法详解

问题定义：本论文旨在解决离线强化学习中样本污染带来的鲁棒性问题。现有方法在面对对手污染样本时，策略的有效性和鲁棒性受到严重影响，导致次优性差距增大。

核心思路：论文的核心思路是借鉴鲁棒在线强化学习中的不确定性加权技术，设计一种新的不确定性权重迭代程序，以提高算法在批量样本上的计算效率和鲁棒性。

技术框架：整体架构包括数据预处理、样本加权、策略优化和评估四个主要模块。首先对样本进行加权处理，然后利用加权样本进行策略优化，最后评估策略的鲁棒性和次优性。

关键创新：最重要的技术创新在于提出了一种新的不确定性权重迭代程序，使得算法能够有效应对样本污染问题，且在理论上提供了污染影响的次优性界限。与现有方法相比，该方法在处理污染样本时具有更好的鲁棒性。

关键设计：关键设计包括对不确定性权重的计算方式、损失函数的选择，以及在算法中引入的单策略覆盖假设。这些设计确保了算法在面对不同程度的样本污染时，能够保持较高的性能。

📊 实验亮点

实验结果表明，提出的算法在处理污染样本时的次优性界限优于现有方法，尤其在线性MDP场景下，污染相关的误差项达到O(ζd n^{-1})，与理论下界一致，验证了算法的有效性和紧致性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、金融决策等需要依赖历史数据进行决策的场景。通过提高离线强化学习算法的鲁棒性，可以在实际应用中更好地应对数据污染问题，从而提升决策的可靠性和安全性。

📄 摘要（原文）

We investigate the problem of corruption robustness in offline reinforcement learning (RL) with general function approximation, where an adversary can corrupt each sample in the offline dataset, and the corruption level $ζ\geq0$ quantifies the cumulative corruption amount over $n$ episodes and $H$ steps. Our goal is to find a policy that is robust to such corruption and minimizes the suboptimality gap with respect to the optimal policy for the uncorrupted Markov decision processes (MDPs). Drawing inspiration from the uncertainty-weighting technique from the robust online RL setting \citep{he2022nearly,ye2022corruptionrobust}, we design a new uncertainty weight iteration procedure to efficiently compute on batched samples and propose a corruption-robust algorithm for offline RL. Notably, under the assumption of single policy coverage and the knowledge of $ζ$, our proposed algorithm achieves a suboptimality bound that is worsened by an additive factor of $\mathcal{O}(ζ(C(\widehat{\mathcal{F}},μ)n)^{-1})$ due to the corruption. Here $\widehat{\mathcal{F}}$ is the confidence set, and the dataset $\mathcal{Z}_n^H$, and $C(\widehat{\mathcal{F}},μ)$ is a coefficient that depends on $\widehat{\mathcal{F}}$ and the underlying data distribution $μ$. When specialized to linear MDPs, the corruption-dependent error term reduces to $\mathcal{O}(ζd n^{-1})$ with $d$ being the dimension of the feature map, which matches the existing lower bound for corrupted linear MDPs. This suggests that our analysis is tight in terms of the corruption-dependent term.