Fewer May Be Better: Enhancing Offline Reinforcement Learning with Reduced Dataset

📄 arXiv: 2502.18955v1 📥 PDF

作者: Yiqin Yang, Quanwei Wang, Chenghao Li, Hao Hu, Chengjie Wu, Yuhua Jiang, Dianyu Zhong, Ziyou Zhang, Qianchuan Zhao, Chongjie Zhang, Xu Bo

分类: cs.LG

发布日期: 2025-02-26

期刊: Published on ICLR 2025

💡 一句话要点

ReDOR：通过缩减数据集提升离线强化学习性能与效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 数据集选择 子模优化 梯度近似 正交匹配追踪

📋 核心要点

  1. 离线强化学习面临数据集选择难题，现有方法缺乏有效策略来选取最优子集，影响性能和效率。
  2. ReDOR将数据集选择转化为梯度近似优化问题，并利用子模优化理论，高效选取信息量大的数据子集。
  3. 实验表明，ReDOR选取的子集能显著提升离线RL算法性能，同时降低计算复杂度，验证了方法的有效性。

📝 摘要（中文）

离线强化学习（RL）允许智能体从预先收集的数据集中学习，而无需与环境进一步交互。一个关键但未被充分探索的挑战是选择离线数据集的最佳子集，以提高算法性能和训练效率。减少数据集大小还可以揭示解决类似问题所需的最小数据量。为了应对这一挑战，我们提出了ReDOR（离线RL的缩减数据集），该方法将数据集选择构建为梯度近似优化问题。我们证明了RL中广泛使用的actor-critic框架可以被重新表述为一个子模优化目标，从而实现高效的子集选择。为此，我们改进了正交匹配追踪（OMP），并针对离线RL进行了多项创新性修改。实验结果表明，ReDOR识别的数据子集不仅提高了算法性能，而且显著降低了计算复杂度。

🔬 方法详解

问题定义：离线强化学习中，如何从大量离线数据集中选择一个最优子集，以提升算法性能和训练效率？现有方法通常采用随机采样或启发式规则，无法保证所选子集包含足够的信息量，导致算法性能受限，且计算资源浪费。此外，确定解决特定问题所需的最小数据量也是一个未解决的难题。

核心思路：论文的核心思路是将数据集选择问题转化为一个梯度近似优化问题。具体来说，目标是选择一个数据集子集，使得在该子集上训练的策略能够尽可能地逼近在完整数据集上训练的策略。作者证明了actor-critic框架可以被重新表述为一个子模优化目标，这意味着可以使用贪心算法来高效地选择数据集子集。

技术框架：ReDOR的整体框架包含以下几个主要步骤：1) 使用actor-critic算法在完整数据集上训练一个初始策略；2) 将数据集选择问题转化为一个子模优化问题，目标是最大化所选子集上的梯度近似程度；3) 使用改进的正交匹配追踪（OMP）算法来高效地选择数据集子集；4) 使用所选子集重新训练actor-critic算法，得到最终策略。

关键创新：ReDOR的关键创新在于：1) 将数据集选择问题形式化为一个梯度近似优化问题，为数据集选择提供了一个理论基础；2) 证明了actor-critic框架可以被重新表述为一个子模优化目标，从而可以使用高效的贪心算法来选择数据集子集；3) 针对离线RL场景，对正交匹配追踪（OMP）算法进行了多项改进，提高了子集选择的效率和准确性。

关键设计：ReDOR的关键设计包括：1) 使用KL散度来衡量策略之间的差异，从而定义梯度近似程度；2) 使用actor-critic算法的梯度作为特征向量，用于子模优化；3) 对OMP算法进行了改进，例如引入了正则化项，以防止过拟合，并使用了一种自适应的步长调整策略，以提高收敛速度。具体参数设置和网络结构的选择取决于具体的离线RL算法和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReDOR在多个离线RL benchmark数据集上取得了显著的性能提升。例如，在D4RL数据集上，ReDOR能够使用原始数据集的10%-20%的数据，达到甚至超过使用完整数据集训练的性能。此外，ReDOR还显著降低了训练时间，验证了其在提高算法性能和效率方面的有效性。与基线方法相比，ReDOR在多个指标上均取得了领先优势。

🎯 应用场景

ReDOR可应用于各种离线强化学习场景，例如机器人控制、自动驾驶、推荐系统和医疗决策等。通过减少训练数据量，ReDOR可以显著降低计算成本，并加速算法的部署。此外，ReDOR还可以帮助研究人员理解解决特定问题所需的最小数据量，从而指导数据收集和标注工作。未来，ReDOR可以与其他数据选择方法相结合，进一步提升离线强化学习的性能和效率。

📄 摘要（原文）

Offline reinforcement learning (RL) represents a significant shift in RL research, allowing agents to learn from pre-collected datasets without further interaction with the environment. A key, yet underexplored, challenge in offline RL is selecting an optimal subset of the offline dataset that enhances both algorithm performance and training efficiency. Reducing dataset size can also reveal the minimal data requirements necessary for solving similar problems. In response to this challenge, we introduce ReDOR (Reduced Datasets for Offline RL), a method that frames dataset selection as a gradient approximation optimization problem. We demonstrate that the widely used actor-critic framework in RL can be reformulated as a submodular optimization objective, enabling efficient subset selection. To achieve this, we adapt orthogonal matching pursuit (OMP), incorporating several novel modifications tailored for offline RL. Our experimental results show that the data subsets identified by ReDOR not only boost algorithm performance but also do so with significantly lower computational complexity.