CALE: Continuous Arcade Learning Environment

📄 arXiv: 2410.23810v1 📥 PDF

作者: Jesse Farebrother, Pablo Samuel Castro

分类: cs.LG, cs.AI

发布日期: 2024-10-31

🔗 代码/项目: GITHUB

💡 一句话要点

提出CALE：扩展ALE以支持连续动作控制的街机学习环境

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 连续控制 街机学习环境 Atari 2600 模拟器

📋 核心要点

  1. 现有强化学习环境ALE主要支持离散动作空间，限制了连续控制算法的评估和应用。
  2. CALE通过扩展ALE，使其支持连续动作空间，从而能够评估和比较连续控制和离散控制算法。
  3. 论文提供了CALE环境下的基线实验结果，并提出了未来研究方向，为强化学习研究提供新平台。

📝 摘要（中文）

本文介绍了连续街机学习环境（CALE），它是著名的街机学习环境（ALE）的扩展。CALE使用与ALE相同的Atari 2600游戏系统模拟器（Stella），但增加了对连续动作的支持。这使得可以在同一环境套件上对连续控制智能体（如PPO和SAC）和基于价值的智能体（如DQN和Rainbow）进行基准测试和评估。我们提出了一系列CALE能够支持的开放性问题和研究方向，并提供了使用Soft Actor-Critic的初始基线结果。CALE已作为ALE的一部分在https://github.com/Farama-Foundation/Arcade-Learning-Environment上发布。

🔬 方法详解

问题定义：现有的街机学习环境（ALE）主要针对离散动作空间设计，无法直接用于评估和训练连续控制的强化学习算法。这限制了算法的通用性和在更广泛领域的应用。因此，需要一个能够同时支持离散和连续动作空间的统一环境，以便更好地比较和研究不同类型的强化学习算法。

核心思路：CALE的核心思路是在现有的ALE基础上，通过修改底层模拟器，使其能够接受连续的动作输入。这样，就可以在相同的游戏环境中，使用不同的强化学习算法（包括离散动作算法和连续动作算法）进行训练和评估，从而实现更公平的比较。

技术框架：CALE的整体架构与ALE类似，主要包括游戏模拟器（Stella）和强化学习接口。关键的修改在于模拟器部分，使其能够处理连续的动作输入，并返回相应的游戏状态和奖励。强化学习智能体通过接口与环境交互，执行动作并接收反馈。

关键创新：CALE最重要的创新点在于它将离散动作空间扩展到了连续动作空间，而没有改变底层游戏逻辑。这意味着研究人员可以使用相同的游戏集合来评估不同类型的强化学习算法，从而更好地了解它们的优缺点。

关键设计：CALE的关键设计包括：1) 对Stella模拟器的修改，使其能够接受连续动作输入；2) 定义了连续动作的范围和含义，例如，操纵杆的倾斜角度或油门的开度；3) 提供了用于评估连续控制算法的基准任务和评估指标；4) 提供了使用Soft Actor-Critic算法的初始基线结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文使用Soft Actor-Critic算法在CALE上进行了初步实验，并提供了基线结果。这些结果表明，CALE可以有效地用于训练连续控制智能体。此外，论文还提出了一系列开放性问题和研究方向，例如，如何设计更有效的连续控制算法，如何将CALE应用于更复杂的任务等。这些都为未来的研究提供了有价值的参考。

🎯 应用场景

CALE的应用场景广泛，包括机器人控制、自动驾驶、游戏AI等领域。它提供了一个统一的平台，用于开发和评估各种强化学习算法，特别是连续控制算法。通过CALE，研究人员可以更好地了解不同算法的性能，并开发出更高效、更通用的强化学习方法。此外，CALE还可以作为教育工具，帮助学生学习和实践强化学习算法。

📄 摘要（原文）

We introduce the Continuous Arcade Learning Environment (CALE), an extension of the well-known Arcade Learning Environment (ALE) [Bellemare et al., 2013]. The CALE uses the same underlying emulator of the Atari 2600 gaming system (Stella), but adds support for continuous actions. This enables the benchmarking and evaluation of continuous-control agents (such as PPO [Schulman et al., 2017] and SAC [Haarnoja et al., 2018]) and value-based agents (such as DQN [Mnih et al., 2015] and Rainbow [Hessel et al., 2018]) on the same environment suite. We provide a series of open questions and research directions that CALE enables, as well as initial baseline results using Soft Actor-Critic. CALE is available as part of the ALE athttps://github.com/Farama-Foundation/Arcade-Learning-Environment.