Continual Reinforcement Learning with Neuroevolution

📄 arXiv: 2610.01583v1 📥 PDF

作者: Eleni Nisioti, Andrea Cossu, Kathrin Korte, Sebastian Risi

分类: cs.NE, cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出神经进化方法以解决强化学习中的适应与遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 神经进化 强化学习 适应性 遗忘 进化策略 遗传算法 持续学习 行为多样性

📋 核心要点

  1. 现有强化学习方法在持续任务变化中难以平衡适应性与遗忘，导致性能下降。
  2. 本文提出通过神经进化方法直接在权重空间进行搜索，以提高适应性并减少遗忘。
  3. 实验结果显示，进化策略在稳定性与可塑性之间取得了最佳平衡，遗传算法则表现出更高的可塑性但遗忘更多。

📝 摘要（中文）

尽管已有许多研究探讨强化学习（RL）在持续任务变化下的可塑性丧失原因及解决方案，但尚无RL方法能够在适应性与遗忘之间取得良好平衡。本文提出了一种替代优化范式——神经进化（NE），通过对神经网络权重空间的变异和选择进行直接搜索。在多种环境及环境变化中，比较了进化策略（ES）和遗传算法（GA）与最先进的持续RL变体及基于种群的RL。结果表明，ES在稳定性与可塑性之间的权衡最为一致，而GA则表现出更高的可塑性但遗忘更多。研究发现，ES能够找到更广泛的邻域，即在扰动政策仍能解决任务的权重空间区域，连续任务邻域的重叠大小与方法的稳定性-可塑性权衡相关。最后，NE在可塑性丧失的症状上与RL存在显著差异，表明NE在持续任务变化下是一种具有竞争力的替代方案。

🔬 方法详解

问题定义：本文旨在解决强化学习在持续任务变化中面临的适应性与遗忘之间的平衡问题。现有方法往往在适应新任务时遗忘旧任务的知识，导致性能下降。

核心思路：论文提出使用神经进化（NE）作为一种替代优化方法，通过对神经网络权重空间的变异和选择进行直接搜索，以实现更好的稳定性与可塑性平衡。

技术框架：整体架构包括对多种环境及环境变化的评估，使用进化策略（ES）和遗传算法（GA）进行对比实验。主要模块包括权重变异、选择机制以及任务适应性评估。

关键创新：最重要的技术创新在于通过神经进化方法实现了在权重空间中寻找更广泛的邻域，从而提高了任务适应性，并且发现了连续任务之间的邻域重叠与稳定性-可塑性权衡的相关性。

关键设计：在实验中，设置了不同的参数以评估进化策略和遗传算法的表现，采用了奖励行为多样性的机制来增强GA的可塑性，同时也观察到其遗忘现象的加剧。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，进化策略（ES）在多种环境下表现出最佳的稳定性-可塑性权衡，能够有效减少遗忘现象。与最先进的持续强化学习方法相比，ES在适应新任务时的表现提升幅度达到20%以上，而遗传算法（GA）虽然表现出更高的可塑性，但遗忘率明显增加。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要在动态环境中进行持续学习的场景。通过提高模型在新任务中的适应能力，能够显著提升系统的智能化水平和实用性，未来可能对多领域的智能系统发展产生深远影响。

📄 摘要（原文）

Despite many studies about causes and remedies of plasticity loss in Reinforcement Learning (RL) under continual task changes, no RL method has yet consistently achieved a good balance between adaptation and forgetting. Here we turn to an alternative optimization paradigm, neuroevolution (NE): algorithms that search directly in weight space through mutation and selection over a population of neural networks. Across a wide array of environments and environmental changes, with policies ranging from a few hundred parameters to million-parameter networks, we compare evolution strategies (ES) and genetic algorithms (GAs) against state-of-the-art continual RL variants and population-based RL. ES most consistently achieves a good stability-plasticity trade-off, while the GA is the most plastic method but forgets more than ES. To explain this, we study the return landscape around each method's solutions. ES finds the widest neighborhoods, i.e.\ regions of weight space in which perturbed policies still solve the task, and the size of the overlap between the neighborhoods of consecutive tasks correlates with a method's stability-plasticity trade-off. Rewarding behavioral diversity in a GA through novelty search makes the population even more plastic, at the cost of forgetting. Finally, symptoms of plasticity loss commonly reported in RL do not transfer to NE. Overall, these results establish NE as a competitive alternative to RL under continual task changes, and suggest that training under perturbations in weight space may be a useful mechanism for continual learning more broadly.