Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation

📄 arXiv: 2410.10521v1 📥 PDF

作者: Kemal Davaslioglu, Sastry Kompella, Tugba Erpek, Yalin E. Sagduyu

分类: cs.LG, cs.AI, cs.NI

发布日期: 2024-10-14

备注: IEEE MILCOM 2024

💡 一句话要点

提出基于PackNet的持续深度强化学习方法，解决抗干扰通信中灾难性遗忘问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 持续学习 灾难性遗忘 抗干扰通信 PackNet

📋 核心要点

  1. 传统DRL在动态无线环境中易发生灾难性遗忘，导致抗干扰系统无法有效应对不断变化的干扰模式。
  2. 利用基于PackNet的持续DRL方法，在学习新干扰模式的同时保留对旧模式的知识，从而减少灾难性遗忘。
  3. 实验结果表明，该方法在保留过去干扰模式知识、学习新任务效率和抗干扰性能方面优于传统DRL方法。

📝 摘要（中文）

深度强化学习(DRL)在学习和适应射频环境方面非常有效，从而能够检测和减轻干扰影响，以促进可靠的无线通信。然而，传统的DRL方法容易出现灾难性遗忘（即在学习新任务时忘记旧任务），尤其是在干扰模式随时间变化的动态无线环境中。本文考虑了一种抗干扰系统，并解决了DRL应用于干扰检测和抑制时出现的灾难性遗忘问题。首先，我们展示了DRL应用于干扰检测和抑制任务时灾难性遗忘的影响，即网络在适应新的干扰模式时忘记了先前学习的干扰模式。这种灾难性干扰削弱了系统的有效性，尤其是在环境非平稳的情况下。我们提出了一种方法，使网络能够在学习处理新的干扰模式的同时，保留对旧的干扰模式的知识。我们的方法大大减少了灾难性遗忘，使抗干扰系统能够在不影响其有效执行先前学习的任务能力的情况下学习新任务。此外，我们还介绍了一种在抗干扰框架中顺序学习任务的系统方法。通过利用基于PackNet的持续DRL技术，与标准DRL方法相比，我们实现了卓越的抗干扰性能。我们提出的方法不仅解决了灾难性遗忘问题，还增强了系统在动态干扰环境中的适应性和鲁棒性。我们证明了我们的方法在保留过去干扰模式知识、高效学习新任务以及与传统DRL方法相比实现卓越的抗干扰性能方面的有效性。

🔬 方法详解

问题定义：论文旨在解决在动态干扰环境中，传统深度强化学习(DRL)方法应用于抗干扰通信时出现的灾难性遗忘问题。当DRL智能体学习新的干扰模式时，会忘记之前学习的干扰模式，导致系统性能下降，尤其是在环境非平稳的情况下。现有方法无法有效地在学习新任务的同时保留旧知识。

核心思路：论文的核心思路是利用持续学习(Continual Learning)中的PackNet算法，通过网络剪枝和重用，在学习新任务时冻结部分网络参数以保留旧知识，同时利用剩余参数学习新知识。这种方法允许智能体在适应新的干扰模式的同时，保持对先前学习的干扰模式的记忆。

技术框架：整体框架包括以下几个主要阶段： 1. 环境交互：智能体与无线环境交互，接收环境状态（例如信道状态信息、干扰信号特征等）。 2. 动作选择：智能体根据当前状态，利用DRL策略选择合适的抗干扰动作（例如调整发射功率、改变信道等）。 3. 奖励反馈：环境根据智能体的动作给出奖励信号，反映动作的有效性。 4. PackNet持续学习：利用PackNet算法，对DRL网络进行剪枝和重用，以实现持续学习。 5. 网络更新：根据奖励信号和PackNet算法，更新DRL网络的参数。

关键创新：论文的关键创新在于将PackNet算法应用于抗干扰通信中的DRL智能体，以解决灾难性遗忘问题。与传统的DRL方法相比，该方法能够更好地适应动态干扰环境，并在学习新干扰模式的同时保留对旧模式的知识。PackNet通过mask机制选择性地保留和更新网络参数，避免了对所有参数的全局更新，从而减少了遗忘。

关键设计： 1. PackNet剪枝率：控制每次学习新任务时剪枝的网络参数比例，需要在保留旧知识和学习新知识之间进行权衡。 2. 奖励函数设计：奖励函数需要能够准确反映抗干扰动作的有效性，例如可以考虑信噪比、误码率等指标。 3. 网络结构选择：可以选择不同的DRL网络结构，例如DQN、DDPG等，并根据具体应用场景进行调整。 4. mask生成策略：PackNet使用mask来标识哪些参数需要保留，哪些参数可以用于学习新任务。mask的生成策略会影响学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于PackNet的持续DRL方法在抗干扰性能方面优于传统的DRL方法。具体来说，该方法能够在学习新的干扰模式的同时，有效地保留对先前学习的干扰模式的知识，从而显著减少灾难性遗忘。与基线方法相比，该方法在动态干扰环境中能够获得更高的信噪比和更低的误码率。

🎯 应用场景

该研究成果可应用于各种无线通信系统，尤其是在存在恶意干扰或环境动态变化的场景中，例如认知无线电、军事通信、物联网等。通过持续学习新的干扰模式，系统能够自适应地调整抗干扰策略，提高通信的可靠性和鲁棒性，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

Deep Reinforcement Learning (DRL) has been highly effective in learning from and adapting to RF environments and thus detecting and mitigating jamming effects to facilitate reliable wireless communications. However, traditional DRL methods are susceptible to catastrophic forgetting (namely forgetting old tasks when learning new ones), especially in dynamic wireless environments where jammer patterns change over time. This paper considers an anti-jamming system and addresses the challenge of catastrophic forgetting in DRL applied to jammer detection and mitigation. First, we demonstrate the impact of catastrophic forgetting in DRL when applied to jammer detection and mitigation tasks, where the network forgets previously learned jammer patterns while adapting to new ones. This catastrophic interference undermines the effectiveness of the system, particularly in scenarios where the environment is non-stationary. We present a method that enables the network to retain knowledge of old jammer patterns while learning to handle new ones. Our approach substantially reduces catastrophic forgetting, allowing the anti-jamming system to learn new tasks without compromising its ability to perform previously learned tasks effectively. Furthermore, we introduce a systematic methodology for sequentially learning tasks in the anti-jamming framework. By leveraging continual DRL techniques based on PackNet, we achieve superior anti-jamming performance compared to standard DRL methods. Our proposed approach not only addresses catastrophic forgetting but also enhances the adaptability and robustness of the system in dynamic jamming environments. We demonstrate the efficacy of our method in preserving knowledge of past jammer patterns, learning new tasks efficiently, and achieving superior anti-jamming performance compared to traditional DRL approaches.