Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning

📄 arXiv: 2610.06083v1 📥 PDF

作者: Zexin Li, Ruili Yao, Yiming Zeng, Xiaoxue Gao

分类: cs.LG, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出基于轨迹的攻击方法以增强深度强化学习的可转移对抗攻击

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗攻击 深度强化学习 黑盒攻击 轨迹优化 安全性评估

📋 核心要点

  1. 现有的对抗攻击方法大多假设攻击者可以访问受害者的策略，这在实际应用中并不成立。
  2. 本文提出了一种轨迹级攻击方法，通过优化一系列扰动来增强对抗攻击的效果，克服了传统方法的局限性。
  3. 在CartPole-v1环境中，轨迹级攻击在白盒、跨模型和跨算法设置下均表现优于逐步攻击和随机噪声。

📝 摘要（中文）

大多数针对深度强化学习（DRL）的对抗攻击假设攻击者能够获得受害者策略的白盒访问权限，但这种情况在实际中很少发生。本文研究了基于转移的黑盒攻击，攻击者在白盒代理上制作观察扰动并将其输入未知的受害者。我们将攻击形式化为在每步扰动预算下的回报最小化。研究表明，简单移植可转移的图像分类攻击（如FGSM、MI-FGSM和NI-FGSM）并不能有效提升扰动的强度。我们提出了一种轨迹级攻击，通过可微分的环境模型和温度平滑的代理策略，在回退视野内优化一系列扰动。实验结果显示，该方法在多个设置下均优于传统的逐步攻击和随机噪声。

🔬 方法详解

问题定义：本文旨在解决在深度强化学习中进行黑盒对抗攻击时，现有方法依赖白盒访问的局限性。传统的逐步攻击方法效果不佳，无法有效转移到未知受害者上。

核心思路：论文提出了一种轨迹级攻击方法，通过在回退视野内优化扰动序列，利用可微分的环境模型和温度平滑的代理策略，提升对抗攻击的有效性。

技术框架：整体流程包括构建白盒代理模型、生成扰动序列、通过环境模型进行优化，并将扰动应用于未知受害者。主要模块包括扰动生成、优化算法和环境反馈机制。

关键创新：最重要的创新在于提出了轨迹级攻击的概念，通过优化扰动序列而非单步扰动，显著提高了攻击的成功率和转移性。

关键设计：在设计中，使用了温度平滑的策略来增强扰动的可转移性，并通过回退视野优化算法来动态调整扰动序列，确保在每一步都能有效降低受害者的回报。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，轨迹级攻击在CartPole-v1环境中，针对十个DQN和DDQN代理以及100对代理-受害者组合，均显著优于传统的逐步攻击和随机噪声，展示了更强的攻击效果和更高的成功率。

🎯 应用场景

该研究的潜在应用场景包括强化学习系统的安全性评估、智能决策系统的鲁棒性增强以及对抗样本生成等领域。通过提升对抗攻击的有效性，可以更好地理解和防御深度强化学习模型的脆弱性，促进安全AI的发展。

📄 摘要（原文）

Most adversarial attacks on deep reinforcement learning (DRL) assume white-box access to the victim policy, which rarely holds in practice. This paper studies transfer-based black-box attacks on DRL: the attacker crafts observation perturbations on a white-box surrogate agent and feeds them to an unknown victim. We formulate the attack as return minimization under a per-step perturbation budget. We first show that transplanting transferable image-classification attacks (FGSM, MI-FGSM, and NI-FGSM) with a per-step objective yields perturbations that transfer but are no stronger than random noise of the same budget. We then propose a trajectory-level attack that optimizes a sequence of perturbations over a receding horizon through a differentiable model of the environment and a temperature-smoothed surrogate policy, with the same optimizers. On CartPole-v1 with ten DQN and DDQN agents and 100 surrogate--victim pairs, the trajectory-level attack outperforms per-step attacks and random noise in the white-box, cross-model, and cross-algorithm settings.