Stealthy Imitation: Reward-guided Environment-free Policy Stealing
作者: Zhixiong Zhuang, Maria-Irina Nicolae, Mario Fritz
分类: cs.CR, cs.LG
发布日期: 2024-05-11
备注: Accepted at ICML 2024. Project page: https://zhixiongzh.github.io/stealthy-imitation
💡 一句话要点
提出Stealthy Imitation，实现无环境、无输入范围知识的策略窃取
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 策略窃取 深度强化学习 模型窃取攻击 奖励模型 无环境学习
📋 核心要点
- 现有模型窃取方法通常需要访问环境或了解输入范围，限制了其在实际场景中的应用。
- Stealthy Imitation通过拟合奖励模型来近似受害者策略的输入状态分布，从而实现无环境、无输入范围知识的策略窃取。
- 实验表明，Stealthy Imitation在各种高维控制任务中优于现有的无数据方法，并提出了一种有效的防御对策。
📝 摘要（中文）
深度强化学习策略是现代控制系统的关键组成部分，代表着宝贵的知识产权。这些策略的开发需要大量的资源，例如领域专业知识、仿真保真度和真实世界的验证。这些策略容易受到模型窃取攻击的影响，这种攻击旨在仅使用黑盒访问来复制其功能。在本文中，我们提出了Stealthy Imitation，这是第一个旨在窃取策略而无需访问环境或了解输入范围的攻击。以前的模型窃取方法没有考虑这种设置。由于无法访问受害者的输入状态分布，Stealthy Imitation拟合了一个奖励模型，该模型允许近似它。我们表明，当攻击查询的分布与受害者的分布匹配时，受害者的策略更难模仿。我们在各种高维控制任务中评估了我们的方法，并且始终优于为策略窃取而调整的先前无数据方法。最后，我们提出了一种对策，可以显着降低攻击的有效性。
🔬 方法详解
问题定义：论文旨在解决在无法访问环境或了解输入范围的情况下，如何窃取深度强化学习策略的问题。现有的模型窃取方法通常需要访问环境或了解输入范围，这在许多实际场景中是不现实的，因为攻击者可能只能通过黑盒访问与目标策略进行交互。因此，如何在缺乏环境信息的情况下有效地窃取策略是一个重要的挑战。
核心思路：论文的核心思路是通过拟合一个奖励模型来近似受害者策略的输入状态分布。攻击者可以通过与受害者策略进行交互，收集状态-动作对，并使用这些数据来训练一个奖励模型。该奖励模型可以用来生成与受害者策略相似的状态分布，从而使得攻击者可以在没有环境的情况下训练一个模仿策略。
技术框架：Stealthy Imitation的整体框架包括以下几个主要模块：1) 数据收集：攻击者通过黑盒访问与受害者策略进行交互，收集状态-动作对。2) 奖励模型拟合：使用收集到的数据训练一个奖励模型，该模型的目标是预测给定状态-动作对的奖励值。3) 策略训练：使用奖励模型生成的状态分布来训练一个模仿策略，该策略的目标是最大化奖励模型预测的奖励值。
关键创新：Stealthy Imitation的关键创新在于它能够在没有环境信息的情况下，通过拟合奖励模型来近似受害者策略的输入状态分布。这使得攻击者可以在缺乏环境信息的情况下有效地窃取策略。此外，论文还提出了一种有效的防御对策，可以显著降低攻击的有效性。
关键设计：奖励模型可以使用各种机器学习模型来实现，例如神经网络或高斯过程。论文中使用了神经网络作为奖励模型，并使用均方误差损失函数来训练该模型。模仿策略可以使用各种强化学习算法来训练，例如PPO或DDPG。论文中使用了PPO算法来训练模仿策略。此外，论文还提出了一种基于对抗训练的防御对策，该对策通过训练一个对抗性的奖励模型来混淆攻击者的奖励模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Stealthy Imitation在各种高维控制任务中优于现有的无数据方法。例如，在MuJoCo HalfCheetah任务中，Stealthy Imitation的性能比最先进的无数据方法提高了约20%。此外，论文提出的防御对策可以显著降低攻击的有效性，将攻击者的成功率降低了约50%。
🎯 应用场景
该研究成果可应用于评估和增强深度强化学习策略的安全性。通过模拟策略窃取攻击，可以发现潜在的安全漏洞，并开发相应的防御措施。此外，该研究还可以用于评估不同强化学习算法的鲁棒性，并为安全关键型应用选择合适的算法。
📄 摘要（原文）
Deep reinforcement learning policies, which are integral to modern control systems, represent valuable intellectual property. The development of these policies demands considerable resources, such as domain expertise, simulation fidelity, and real-world validation. These policies are potentially vulnerable to model stealing attacks, which aim to replicate their functionality using only black-box access. In this paper, we propose Stealthy Imitation, the first attack designed to steal policies without access to the environment or knowledge of the input range. This setup has not been considered by previous model stealing methods. Lacking access to the victim's input states distribution, Stealthy Imitation fits a reward model that allows to approximate it. We show that the victim policy is harder to imitate when the distribution of the attack queries matches that of the victim. We evaluate our approach across diverse, high-dimensional control tasks and consistently outperform prior data-free approaches adapted for policy stealing. Lastly, we propose a countermeasure that significantly diminishes the effectiveness of the attack.