The Generalization Gap in Offline Reinforcement Learning

📄 arXiv: 2312.05742v2 📥 PDF

作者: Ishita Mediratta, Qingfei You, Minqi Jiang, Roberta Raileanu

分类: cs.LG, cs.AI

发布日期: 2023-12-10 (更新: 2024-03-15)

备注: Published as a conference paper at ICLR 2024; First two authors contributed equally

💡 一句话要点

揭示离线强化学习泛化能力不足，并提出首个离线泛化能力评测基准。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 泛化能力 行为克隆 数据多样性 Procgen WebShop 强化学习 序列建模

📋 核心要点

  1. 现有离线强化学习方法在训练和测试环境一致的情况下表现良好，但在新环境中的泛化能力不足，面临严峻挑战。
  2. 论文核心在于对比在线与离线强化学习算法的泛化性能，并探究数据多样性对离线学习泛化能力的影响。
  3. 实验结果表明，离线强化学习算法在新环境中表现不如在线强化学习，行为克隆在多环境数据上表现出较强的泛化能力。

📝 摘要（中文）

尽管离线学习最近取得了进展，但这些方法仍然在相同的环境中进行训练和测试。本文比较了广泛使用的在线和离线学习方法的泛化能力，例如在线强化学习（RL）、离线RL、序列建模和行为克隆。实验表明，离线学习算法在新环境中的表现不如在线学习算法。此外，我们还推出了首个用于评估离线学习泛化能力的基准，收集了来自Procgen（2D视频游戏）和WebShop（电子商务网站）的不同大小和技能水平的数据集。这些数据集包含有限数量的游戏关卡或自然语言指令的轨迹，在测试时，智能体必须泛化到新的关卡或指令。实验表明，现有的离线学习算法难以在训练和测试环境中与在线RL的性能相匹配。行为克隆是一个强大的基线，当在来自多个环境的数据上训练并在新环境上测试时，其性能优于最先进的离线RL和序列建模方法。最后，我们发现增加数据的多样性，而不是其大小，可以提高所有离线学习算法在新环境中的性能。我们的研究表明，当前离线学习算法的泛化能力有限，突出了在该领域进行更多研究的必要性。

🔬 方法详解

问题定义：论文旨在解决离线强化学习算法泛化能力不足的问题。现有离线强化学习方法通常在与训练环境相同的环境中进行测试，忽略了其在新环境中的泛化能力。这种局限性阻碍了离线强化学习在实际场景中的应用，因为真实世界环境往往是动态变化的。

核心思路：论文的核心思路是通过实验对比不同离线学习算法（包括离线RL、序列建模和行为克隆）在不同环境下的泛化性能，并分析数据多样性对泛化能力的影响。通过构建新的离线泛化基准，更全面地评估算法的泛化能力。

技术框架：论文构建了一个离线强化学习泛化能力评估框架，主要包含以下几个部分：1) 数据集构建：收集来自Procgen和WebShop等多个环境的数据集，包含不同大小和技能水平的轨迹数据。2) 算法选择：选择具有代表性的在线和离线学习算法，包括在线RL、离线RL、序列建模和行为克隆。3) 实验设计：在训练环境和测试环境上分别评估算法的性能，并分析数据多样性对泛化能力的影响。4) 性能评估：使用标准化的评估指标，例如平均奖励和成功率，来衡量算法的性能。

关键创新：论文的主要创新点在于：1) 首次系统性地研究了离线强化学习算法的泛化能力。2) 构建了首个用于评估离线强化学习泛化能力的基准数据集，为后续研究提供了标准化的评估平台。3) 揭示了数据多样性对离线强化学习泛化能力的重要性，为提高离线强化学习的泛化能力提供了新的思路。与现有方法相比，该研究更关注算法在未知环境中的表现，而非仅仅在训练环境中的性能。

关键设计：论文的关键设计包括：1) 数据集的多样性：Procgen和WebShop提供了不同类型的环境，涵盖了不同的任务和挑战，从而保证了数据集的多样性。2) 算法的选择：选择了具有代表性的在线和离线学习算法，以便进行全面的比较。3) 评估指标的标准化：使用平均奖励和成功率等标准化的评估指标，以便进行公平的比较。4) 数据划分：将数据集划分为训练集和测试集，以评估算法的泛化能力。

📊 实验亮点

实验结果表明，现有的离线学习算法在Procgen和WebShop等新环境中表现不如在线RL。行为克隆在多环境数据上训练时，其泛化能力优于最先进的离线RL和序列建模方法。此外，增加数据的多样性比增加数据量更能提高离线学习算法的泛化能力。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域。通过提高离线强化学习算法的泛化能力，可以使智能体在面对新的、未知的环境时，也能快速适应并做出有效的决策，降低了对在线交互的需求，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Despite recent progress in offline learning, these methods are still trained and tested on the same environment. In this paper, we compare the generalization abilities of widely used online and offline learning methods such as online reinforcement learning (RL), offline RL, sequence modeling, and behavioral cloning. Our experiments show that offline learning algorithms perform worse on new environments than online learning ones. We also introduce the first benchmark for evaluating generalization in offline learning, collecting datasets of varying sizes and skill-levels from Procgen (2D video games) and WebShop (e-commerce websites). The datasets contain trajectories for a limited number of game levels or natural language instructions and at test time, the agent has to generalize to new levels or instructions. Our experiments reveal that existing offline learning algorithms struggle to match the performance of online RL on both train and test environments. Behavioral cloning is a strong baseline, outperforming state-of-the-art offline RL and sequence modeling approaches when trained on data from multiple environments and tested on new ones. Finally, we find that increasing the diversity of the data, rather than its size, improves performance on new environments for all offline learning algorithms. Our study demonstrates the limited generalization of current offline learning algorithms highlighting the need for more research in this area.