Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning

📄 arXiv: 2605.14587v1 📥 PDF

作者: Oubo Ma, Ruixiao Lin, Yang Dai, Jiahao Chen, Chunyi Zhou, Linkang Du, Shouling Ji

分类: cs.LG, cs.AI, cs.CR

发布日期: 2026-05-14

备注: To appear in the Forty-Third International Conference on Machine Learning (ICML 2026), July 6-11, 2026, Seoul, South Korea

💡 一句话要点

研究塑性干预对深度强化学习后门攻击的影响，提出SCC框架和检测指标。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 后门攻击 塑性干预 鲁棒性 损失景观

📋 核心要点

  1. 现有DRL后门攻击研究主要集中在原始场景，忽略了塑性干预对后门漏洞的影响。
  2. 论文通过实证研究，分析了不同塑性干预措施对DRL后门攻击的影响，并提出了SCC框架。
  3. 研究发现SAM会加剧后门威胁，而其他干预措施会减轻威胁，并提出了基于损失景观锐度的后门检测方法。

📝 摘要（中文）

大量研究表明，后门攻击对深度强化学习（DRL）构成严重威胁。然而，以往的研究主要集中在原始场景中，而塑性干预已成为现代DRL智能体不可或缺的内置组件。尽管这些干预措施在减轻塑性损失方面有效，但它们对DRL后门漏洞的影响仍未得到充分探索，这种缺乏系统性研究的情况给实际DRL部署带来了风险。为了弥合这一差距，我们实证研究了14664个案例，集成了代表性的干预措施和攻击场景。我们发现，只有一种干预措施（即SAM）会加剧后门威胁，而其他干预措施则会减轻后门威胁。病理分析表明，加剧的原因是后门梯度放大，而减轻的原因是激活通路中断和表征空间压缩。基于这些发现，我们得出了两个新的见解：（1）一个用于鲁棒后门注入的概念框架SCC，该框架解构了DRL中干预措施和后门之间的机械相互作用，以及（2）异常的损失景观锐度作为DRL后门检测的关键指标。

🔬 方法详解

问题定义：该论文旨在解决深度强化学习（DRL）中，塑性干预措施如何影响后门攻击的问题。现有的DRL后门攻击研究主要集中在没有塑性干预的原始场景，忽略了现代DRL智能体中广泛使用的塑性干预措施对后门漏洞的影响。这种忽略可能导致实际部署的DRL系统存在安全风险。

核心思路：论文的核心思路是通过大规模的实证研究，分析不同的塑性干预措施在不同后门攻击场景下的表现，从而揭示干预措施与后门攻击之间的相互作用机制。基于分析结果，论文提出了一个概念框架SCC，用于指导鲁棒的后门注入，并提出了基于损失景观锐度的后门检测方法。

技术框架：论文的技术框架主要包括以下几个阶段： 1. 实验设计：选择代表性的塑性干预措施和后门攻击场景，构建大量的实验案例。 2. 实证研究：在不同的实验案例中，评估塑性干预措施对后门攻击成功率的影响。 3. 病理分析：分析导致后门攻击加剧或减轻的原因，例如梯度放大、激活通路中断和表征空间压缩。 4. 框架构建：基于分析结果，构建一个概念框架SCC，用于描述干预措施和后门之间的相互作用。 5. 后门检测：提出基于损失景观锐度的后门检测方法，并进行验证。

关键创新：论文的创新点主要包括： 1. 系统地研究了塑性干预措施对DRL后门攻击的影响，填补了该领域的研究空白。 2. 提出了一个概念框架SCC，用于描述干预措施和后门之间的相互作用，为鲁棒的后门注入提供了指导。 3. 提出了基于损失景观锐度的后门检测方法，为DRL系统的安全部署提供了保障。

关键设计：论文的关键设计包括： 1. 选择了具有代表性的塑性干预措施，例如SAM。 2. 选择了不同的后门攻击场景，以覆盖不同的攻击方式。 3. 使用了大量的实验案例，以保证研究结果的可靠性。 4. 通过病理分析，深入理解了干预措施和后门之间的相互作用机制。 5. 损失景观锐度的计算方式以及阈值的选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAM干预会加剧后门威胁，而其他干预措施则会减轻威胁。通过病理分析，发现SAM会放大后门梯度，而其他干预措施会中断激活通路或压缩表征空间。提出的SCC框架能够有效指导鲁棒的后门注入。基于损失景观锐度的后门检测方法能够有效检测DRL系统中的后门攻击。

🎯 应用场景

该研究成果可应用于提高深度强化学习系统的安全性，尤其是在安全攸关的应用领域，如自动驾驶、机器人控制和金融交易等。通过理解塑性干预措施对后门攻击的影响，可以设计更鲁棒的DRL智能体，并开发有效的后门检测方法，从而降低DRL系统被恶意攻击的风险。

📄 摘要（原文）

Extensive research has highlighted the severe threats posed by backdoor attacks to deep reinforcement learning (DRL). However, prior studies primarily focus on vanilla scenarios, while plasticity interventions have emerged as indispensable built-in components of modern DRL agents. Despite their effectiveness in mitigating plasticity loss, the impact of these interventions on DRL backdoor vulnerabilities remains underexplored, and this lack of systematic investigation poses risks in practical DRL deployments. To bridge this gap, we empirically study 14,664 cases integrating representative interventions and attack scenarios. We find that only one intervention (i.e., SAM) exacerbates backdoor threats, while other interventions mitigate them. Pathological analysis identifies that the exacerbation is attributed to backdoor gradient amplification, while the mitigation stems from activation pathway disruption and representation space compression. From these findings, we derive two novel insights: (1) a conceptual framework SCC for robust backdoor injection that deconstructs the mechanistic interplay between interventions and backdoors in DRL, and (2) abnormal loss landscape sharpness as a key indicator for DRL backdoor detection.