Online Optimization of Curriculum Learning Schedules using Evolutionary Optimization

📄 arXiv: 2408.06068v1 📥 PDF

作者: Mohit Jiwatode, Leon Schlecht, Alexander Dockhorn

分类: cs.AI, cs.NE

发布日期: 2024-08-12

备注: 8 pages including abstract, to be published in the Proceedings of the IEEE Conference on Games 2024

💡 一句话要点

提出RHEA CL，结合课程学习与滚动时域进化算法，自动优化强化学习训练课程。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 课程学习 强化学习 进化算法 滚动时域优化 自动课程设计

📋 核心要点

  1. 现有课程学习方法难以自动生成有效的课程，需要人工干预或预定义规则。
  2. RHEA CL利用滚动时域进化算法，在训练过程中动态优化课程，选择最优课程进入下一阶段。
  3. 实验表明，RHEA CL在Minigrid环境中表现出适应性和持续改进，优于其他课程学习方法。

📝 摘要（中文）

本文提出RHEA CL，它将课程学习（CL）与滚动时域进化算法（RHEA）相结合，以在强化学习智能体的训练过程中自动生成有效的课程。RHEA CL使用进化算法优化课程种群，并选择表现最佳的课程作为下一个训练epoch的起点。在所有环境中，每次课程步骤后都会进行性能评估。我们在Minigrid框架内的 extit{DoorKey}和 extit{DynamicObstacles}环境中评估了该算法。它展示了适应性和持续改进，尤其是在早期阶段，同时在后期达到了稳定的性能，能够优于其他课程学习器。与其他课程表相比，RHEA CL已被证明可以提高最终强化学习（RL）智能体的性能，但代价是在训练期间需要额外的评估。

🔬 方法详解

问题定义：论文旨在解决强化学习中课程学习（CL）策略难以自动优化的问题。现有的CL方法通常依赖于人工设计的课程表或预定义的规则，这限制了其在复杂环境中的适应性和泛化能力。此外，如何有效地评估课程的质量并选择最优课程也是一个挑战。

核心思路：论文的核心思路是利用滚动时域进化算法（RHEA）来自动搜索和优化课程学习的策略。RHEA通过维护一个课程种群，并使用进化算法（例如选择、交叉、变异）来迭代地改进这些课程。在每个训练epoch中，RHEA选择表现最佳的课程作为起点，从而实现课程的动态调整和优化。

技术框架：RHEA CL的整体框架包括以下几个主要模块：1) 课程种群初始化：随机生成一组初始课程。2) 课程评估：在每个课程步骤后，评估智能体在当前课程下的性能。3) 进化算法：使用RHEA对课程种群进行优化，包括选择、交叉和变异操作。4) 课程选择：选择表现最佳的课程作为下一个训练epoch的起点。5) 强化学习训练：使用选定的课程训练强化学习智能体。

关键创新：RHEA CL的关键创新在于将滚动时域进化算法与课程学习相结合，从而实现了课程的自动优化。与传统的CL方法相比，RHEA CL不需要人工设计课程表，而是通过进化算法自动搜索最优课程。此外，RHEA CL还可以在训练过程中动态调整课程，从而更好地适应环境的变化。

关键设计：RHEA CL的关键设计包括：1) 课程表示：课程被表示为一个参数化的函数，用于控制训练任务的难度或分布。2) 适应度函数：使用智能体在当前课程下的性能作为适应度函数，用于评估课程的质量。3) 进化算子：选择、交叉和变异算子的设计需要根据具体的课程表示和环境进行调整。4) 滚动时域：滚动时域的大小决定了RHEA的优化范围和计算复杂度。5) 强化学习算法：可以使用任何现有的强化学习算法，例如Q-learning、SARSA或Actor-Critic方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Minigrid的DoorKey和DynamicObstacles环境中，RHEA CL表现出优于其他课程学习方法的性能。实验结果表明，RHEA CL在训练初期能够快速提升智能体的性能，并在后期达到稳定的性能水平。虽然RHEA CL在训练期间需要额外的评估，但最终的强化学习智能体性能得到了显著提高。

🎯 应用场景

RHEA CL可应用于各种强化学习任务，尤其是在那些需要复杂课程设计的环境中，例如机器人控制、游戏AI和自动驾驶。该方法可以自动生成有效的课程，从而加速智能体的学习过程并提高其最终性能。此外，RHEA CL还可以用于探索新的课程学习策略，并为课程学习的研究提供新的思路。

📄 摘要（原文）

We propose RHEA CL, which combines Curriculum Learning (CL) with Rolling Horizon Evolutionary Algorithms (RHEA) to automatically produce effective curricula during the training of a reinforcement learning agent. RHEA CL optimizes a population of curricula, using an evolutionary algorithm, and selects the best-performing curriculum as the starting point for the next training epoch. Performance evaluations are conducted after every curriculum step in all environments. We evaluate the algorithm on the \textit{DoorKey} and \textit{DynamicObstacles} environments within the Minigrid framework. It demonstrates adaptability and consistent improvement, particularly in the early stages, while reaching a stable performance later that is capable of outperforming other curriculum learners. In comparison to other curriculum schedules, RHEA CL has been shown to yield performance improvements for the final Reinforcement learning (RL) agent at the cost of additional evaluation during training.