How to Find and Reuse Policies for Continuous Adaptation in Lifelong Reinforcement Learning

📄 arXiv: 2610.03119v1 📥 PDF

作者: Saptarshi Nath, Inish M. D'Souza, Antonio Carta, Soheil Kolouri, Andrea Soltoggio

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-10-02

备注: Code is available at https://github.com/Chocological45/amsc

💡 一句话要点

提出自适应掩码选择与组合方法以解决终身强化学习中的策略重用问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 终身强化学习 策略重用 任务相似性 自适应学习 Wasserstein嵌入 在线学习 模块化组合

📋 核心要点

  1. 现有的终身强化学习方法在策略重用方面存在不足，无法有效利用多个先前策略中的知识。
  2. 论文提出的自适应掩码选择与组合（AMSC）方法，通过在线经验估计任务相似性，进而选择和加权策略。
  3. 实验结果表明，AMSC在CT图和MiniGrid上实现了更高的平均性能和前向转移，且没有遗忘现象。

📝 摘要（中文）

在终身强化学习中，仅仅保留先前学习的策略不足以有效转移到新任务。有效知识可能分布在多个先前策略中，其相关性可能随着学习者经验的积累而变化。本文提出了一种假设，即任务相似性可以有效用于持续学习环境中，以寻找和组合先前学习的策略。为此，设计了自适应掩码选择与组合（AMSC），通过非参数Wasserstein任务嵌入从状态-动作-奖励样本中估计相似性。使用z-score标准化的稀疏最大值相似性分数，形成可变大小的支持，以定期选择和加权策略，从而在学习新任务时形成先验。在CT图和MiniGrid上，AMSC实现了比评估的模块化组合基线更高的平均性能和前向转移，同时没有遗忘。在持续世界上的结果表明，识别相关的先前知识并确定其层特定组合可能需要额外的层特定调优。消融实验显示，选择相关源和确定重用强度是这些增益的核心。

🔬 方法详解

问题定义：论文要解决的问题是如何在终身强化学习中有效重用先前学习的策略。现有方法往往无法充分利用多个策略中的知识，导致学习效率低下。

核心思路：论文的核心思路是利用任务相似性来选择和组合先前学习的策略。通过在线经验获取相似性信息，从而在学习新任务时形成有效的先验知识。

技术框架：整体架构包括任务相似性估计模块、策略选择与加权模块。首先，通过非参数Wasserstein任务嵌入从状态-动作-奖励样本中估计任务相似性，然后使用z-score标准化的稀疏最大值相似性分数来选择和加权策略。

关键创新：最重要的技术创新点在于引入了任务相似性作为选择和加权策略的标准，这与现有方法的固定策略重用方式有本质区别。

关键设计：在设计中，使用了z-score标准化的稀疏最大值来处理相似性分数，并通过可变大小的支持来动态选择策略。此外，消融实验验证了选择相关源和重用强度对性能提升的重要性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，AMSC在CT图和MiniGrid上实现了更高的平均性能和前向转移，相较于基线方法提升显著，且在持续学习过程中没有出现遗忘现象。这表明任务相似性在策略重用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能代理和自适应系统等。通过有效重用先前学习的策略，可以显著提高学习效率和适应能力，降低训练成本，推动智能系统在复杂环境中的应用。未来，该方法可能在多任务学习和迁移学习等领域产生深远影响。

📄 摘要（原文）

In lifelong reinforcement learning, retaining previously learned policies is not sufficient for effective transfer to a new task. Useful knowledge may be distributed across several prior policies, and its relevance may change as the learner acquires experience. One hypothesis is that task similarity can be effectively used in a continual learning setting to find and combine previously learned policies. To test it, Adaptive Mask Selection and Composition (AMSC) is designed to estimate similarity from online experience via non-parametric Wasserstein task embeddings from state-action-reward samples. The z-score-normalized sparsemax of the similarity scores are used to derive a variable-size support to periodically choose and weight policies to form a prior when learning a new task. On CT-graph and MiniGrid, AMSC achieves higher mean performance and forward transfer than the evaluated modular composition baselines while exhibiting no forgetting. Results on Continual World suggest that identifying relevant prior knowledge and determining its layer-specific composition may require additional layer-specific tuning. Ablations show that selecting relevant sources and determining how strongly to reuse them are central to these gains. Independently measured pairwise transfer is also positively associated with task-embedding similarity. These results indicate that task similarity can be an effective criterion to select and weight specific knowledge for reuse in lifelong reinforcement learning.