Deep Reinforcement Learning Agents are not even close to Human Intelligence

📄 arXiv: 2505.21731v1 📥 PDF

作者: Quentin Delfosse, Jannis Blüml, Fabian Tatai, Théo Vincent, Bjarne Gregori, Elisabeth Dillies, Jan Peters, Constantin Rothkopf, Kristian Kersting

分类: cs.LG, cs.AI

发布日期: 2025-05-27

备注: 49 pages in total, 5 main figures, 14 figures total

💡 一句话要点

HackAtari揭示深度强化学习智能体在简化任务中泛化能力不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 泛化能力 鲁棒性评估 任务简化 雅达利游戏

📋 核心要点

  1. 现有深度强化学习智能体在复杂任务中表现出色，但缺乏在简化任务中的泛化能力，这暴露了其对捷径的依赖。
  2. 论文提出HackAtari，通过简化雅达利游戏环境来评估RL智能体在简化任务上的性能，以此揭示其泛化能力的不足。
  3. 实验结果表明，与人类不同，RL智能体在简化后的任务中性能显著下降，突显了RL智能体与人类智能之间的差距。

📝 摘要（中文）

深度强化学习(RL)智能体在各种任务中取得了令人瞩目的成果，但缺乏零样本适应能力。虽然大多数鲁棒性评估都集中在任务复杂化上，而人类在这些复杂化任务中也难以保持性能，但尚未对任务简化进行评估。为了解决这个问题，我们引入了HackAtari，这是一组雅达利学习环境的任务变体。我们用它来证明，与人类相反，RL智能体在训练任务的更简单版本上系统性地表现出巨大的性能下降，揭示了智能体对捷径的一致依赖。我们对多种算法和架构的分析突出了RL智能体与人类行为智能之间持续存在的差距，强调需要新的基准和方法，以强制进行超越静态评估协议的系统泛化测试。在同一环境中训练和测试不足以获得具备类人智能的智能体。

🔬 方法详解

问题定义：现有深度强化学习方法在特定复杂任务上表现良好，但缺乏对任务变化的鲁棒性，尤其是在任务简化的情况下。现有方法过度依赖训练环境中的特定模式或捷径，导致在环境发生微小变化时性能急剧下降。这种现象表明，现有RL智能体并未真正理解任务的内在逻辑，而是通过记忆或拟合训练数据中的表面特征来完成任务。

核心思路：论文的核心思路是通过系统性地简化任务，考察RL智能体在简化环境下的表现，从而评估其泛化能力和对任务本质的理解程度。如果智能体真正理解了任务，那么在简化后的任务中应该表现更好或至少不应该显著变差。通过这种方式，可以有效揭示智能体是否过度依赖捷径或记忆，而不是学习到通用的策略。

技术框架：论文构建了一个名为HackAtari的测试平台，该平台基于雅达利学习环境，并提供了一系列任务简化变体。这些变体通过修改游戏规则、减少状态空间、降低奖励稀疏性等方式来简化原始任务。研究人员使用不同的深度强化学习算法（如DQN、PPO等）在原始雅达利游戏上训练智能体，然后在HackAtari的简化变体上进行测试。通过比较智能体在原始任务和简化任务上的性能，评估其泛化能力。

关键创新：论文的关键创新在于提出了一个评估RL智能体泛化能力的新视角，即通过任务简化而非任务复杂化。以往的鲁棒性评估主要关注智能体在复杂环境下的表现，而忽略了智能体在简单环境下的表现。通过HackAtari，研究人员可以系统性地评估智能体是否真正理解任务，还是仅仅依赖于训练环境中的捷径。这种评估方法能够更有效地揭示RL智能体与人类智能之间的差距。

关键设计：HackAtari的关键设计在于提供了一系列精心设计的任务简化变体。这些变体涵盖了多种简化方式，例如：1) 减少状态空间：例如，减少屏幕上的颜色数量或降低图像分辨率。2) 简化游戏规则：例如，增加玩家的生命值或减少敌人的数量。3) 降低奖励稀疏性：例如，增加奖励的频率或提供更明确的奖励信号。研究人员通过控制这些简化参数，可以系统性地评估智能体对不同类型简化的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在多个雅达利游戏中，经过训练的深度强化学习智能体在HackAtari的简化版本中性能显著下降。例如，在某些游戏中，智能体的得分下降了50%以上。这一结果与人类的表现形成鲜明对比，人类在简化任务中通常表现更好。这表明，现有的RL智能体过度依赖训练环境中的捷径，缺乏真正的泛化能力。

🎯 应用场景

该研究成果可应用于评估和改进强化学习算法的泛化能力，推动开发更鲁棒、更智能的AI系统。通过HackAtari这类基准测试，可以促进RL算法在实际复杂环境中的部署，例如机器人控制、自动驾驶等领域，减少对特定训练环境的依赖，提升智能体的适应性和可靠性。

📄 摘要（原文）

Deep reinforcement learning (RL) agents achieve impressive results in a wide variety of tasks, but they lack zero-shot adaptation capabilities. While most robustness evaluations focus on tasks complexifications, for which human also struggle to maintain performances, no evaluation has been performed on tasks simplifications. To tackle this issue, we introduce HackAtari, a set of task variations of the Arcade Learning Environments. We use it to demonstrate that, contrary to humans, RL agents systematically exhibit huge performance drops on simpler versions of their training tasks, uncovering agents' consistent reliance on shortcuts. Our analysis across multiple algorithms and architectures highlights the persistent gap between RL agents and human behavioral intelligence, underscoring the need for new benchmarks and methodologies that enforce systematic generalization testing beyond static evaluation protocols. Training and testing in the same environment is not enough to obtain agents equipped with human-like intelligence.