Continual Reinforcement Learning with Neuroevolution

📄 arXiv: 2610.01583v2 📥 PDF

作者: Eleni Nisioti, Andrea Cossu, Kathrin Korte, Sebastian Risi

分类: cs.NE, cs.LG

发布日期: 2026-10-01 (更新: 2026-10-02)

💡 一句话要点

提出神经进化方法以解决强化学习中的适应与遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 神经进化 强化学习 适应性 遗忘问题 进化策略 遗传算法 持续学习

📋 核心要点

  1. 现有强化学习方法在持续任务变化下，难以平衡适应性与遗忘，导致性能下降。
  2. 本文提出通过神经进化算法直接在权重空间中进行搜索，以提高适应性并减少遗忘。
  3. 实验结果显示，进化策略在稳定性与适应性之间取得了良好平衡，优于现有强化学习方法。

📝 摘要（中文）

尽管已有多项研究探讨了强化学习在持续任务变化下的适应性丧失原因及解决方案，但尚无方法能在适应与遗忘之间取得良好平衡。本文引入神经进化（NE）作为一种替代优化范式，通过对神经网络权重空间的直接搜索，比较了进化策略（ES）和遗传算法（GA）与当前最先进的持续强化学习变体及基于种群的强化学习的表现。结果表明，ES在稳定性与适应性之间取得了较好的平衡，而GA则表现出更高的适应性但遗忘更多。通过对各方法解决方案的回报景观进行研究，发现ES能够找到更广泛的邻域，且连续任务的邻域重叠程度与方法的稳定性-适应性权衡相关。最后，研究表明，神经进化在持续学习中是强化学习的有力替代方案。

🔬 方法详解

问题定义：本文旨在解决强化学习在持续任务变化中适应性丧失的问题。现有方法往往在适应新任务时遗忘旧任务，导致整体性能下降。

核心思路：论文提出利用神经进化（NE）方法，通过对神经网络权重空间的变异和选择进行直接搜索，以实现更好的适应性和稳定性。这样的设计旨在克服传统强化学习方法的遗忘问题。

技术框架：整体架构包括对神经网络的种群进行进化，通过进化策略（ES）和遗传算法（GA）进行比较。主要模块包括权重变异、选择机制和适应性评估。

关键创新：最重要的创新点在于通过神经进化方法实现了在适应性与遗忘之间的有效平衡，尤其是ES方法在多种环境中表现出更好的稳定性。与现有方法相比，NE能够在权重空间中找到更广泛的邻域，从而减少遗忘。

关键设计：在实验中，设置了不同的参数以评估进化策略和遗传算法的表现，包括种群规模、变异率和选择压力等。损失函数设计上，强调了行为多样性，以促进适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，进化策略（ES）在多种环境中表现出良好的稳定性与适应性平衡，相较于传统强化学习方法，ES在适应新任务时的遗忘率显著降低，且能够在权重空间中找到更广泛的有效邻域。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体和自适应系统等。通过引入神经进化方法，可以在动态环境中实现更高效的学习与适应，提升系统的智能水平和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite many studies about causes and remedies of plasticity loss in Reinforcement Learning (RL) under continual task changes, no RL method has yet consistently achieved a good balance between adaptation and forgetting. Here we turn to an alternative optimization paradigm, neuroevolution (NE): algorithms that search directly in weight space through mutation and selection over a population of neural networks. Across a wide array of environments and environmental changes, with policies ranging from a few hundred parameters to million-parameter networks, we compare evolution strategies (ES) and genetic algorithms (GAs) against state-of-the-art continual RL variants and population-based RL. ES most consistently achieves a good stability-plasticity trade-off, while the GA is the most plastic method but forgets more than ES. To explain this, we study the return landscape around each method's solutions. ES finds the widest neighborhoods, i.e.\ regions of weight space in which perturbed policies still solve the task, and the size of the overlap between the neighborhoods of consecutive tasks correlates with a method's stability-plasticity trade-off. Rewarding behavioral diversity in a GA through novelty search makes the population even more plastic, at the cost of forgetting. Finally, symptoms of plasticity loss commonly reported in RL do not transfer to NE. Overall, these results establish NE as a competitive alternative to RL under continual task changes, and suggest that training under perturbations in weight space may be a useful mechanism for continual learning more broadly.