On the Perturbed States for Transformed Input-robust Reinforcement Learning

📄 arXiv: 2408.00023v2 📥 PDF

作者: Tung M. Luu, Haeyong Kang, Tri Ton, Thanh Nguyen, Chang D. Yoo

分类: cs.LG

发布日期: 2024-07-31 (更新: 2024-08-02)

备注: 12 pages (Code: https://github.com/tunglm2203/tirl)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TIRL，通过输入变换增强强化学习在对抗扰动下的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 对抗鲁棒性 输入变换 矢量量化 自编码器 对抗攻击 MuJoCo 鲁棒训练

📋 核心要点

  1. 现有强化学习智能体容易受到对抗扰动攻击，降低了在真实环境中的可靠性，需要提升其鲁棒性。
  2. TIRL方法通过在策略网络前添加输入变换防御机制，包括自编码器去噪和有界变换，来缓解对抗攻击的影响。
  3. 实验表明，矢量量化（VQ）作为输入变换防御手段，能够有效防御MuJoCo环境中多种对抗攻击，提升智能体鲁棒性。

📝 摘要（中文）

强化学习（RL）智能体在训练环境中表现出色，但在部署期间容易受到输入观测中的对抗扰动的影响。因此，在实际部署之前构建一个鲁棒的智能体至关重要。为了解决这个难题，先前的工作主要集中在开发基于鲁棒训练的程序，包括增强深度神经网络组件的鲁棒性或使智能体接受针对强大攻击的对抗训练。本文提出了一种名为Transformed Input-robust RL（TIRL）的新方法，该方法探索了另一种通过采用基于输入变换的防御来减轻对抗影响的途径。具体来说，我们为在学习鲁棒RL智能体中应用基于变换的防御引入了两个原则：（1）自编码器风格的去噪以重建原始状态；（2）有界变换（位深度降低和矢量量化（VQ））以实现接近的变换输入。变换应用于状态，然后再将其馈送到策略网络中。在多个MuJoCo环境上的大量实验表明，基于输入变换的防御（即VQ）可以防御状态观测中的几种对抗攻击。

🔬 方法详解

问题定义：强化学习智能体在训练环境中表现良好，但在实际部署时，容易受到输入观测中的对抗扰动的影响，导致性能显著下降。现有方法主要集中在增强神经网络本身的鲁棒性或使用对抗训练，但这些方法计算成本高昂，且泛化能力有限。因此，如何提高强化学习智能体对输入扰动的鲁棒性，同时保持计算效率和泛化能力，是一个重要的挑战。

核心思路：TIRL的核心思路是在策略网络接收输入之前，对输入状态进行变换，从而减轻对抗扰动的影响。这种方法类似于信号处理中的滤波，旨在去除或减弱输入中的噪声成分（即对抗扰动）。通过精心设计的输入变换，可以使智能体更加关注原始状态的本质特征，而忽略掉对抗攻击引入的细微变化。

技术框架：TIRL的整体框架包括以下几个主要模块：1) 状态观测模块：接收来自环境的原始状态观测；2) 输入变换模块：对原始状态进行变换，包括自编码器风格的去噪和有界变换（如位深度降低和矢量量化）；3) 策略网络模块：接收经过变换后的状态，并输出相应的动作；4) 强化学习训练模块：使用标准的强化学习算法（如PPO）训练策略网络，目标是最大化累积奖励。

关键创新：TIRL的关键创新在于将输入变换作为一种防御机制引入到强化学习中。与直接增强神经网络的鲁棒性或进行对抗训练不同，TIRL通过预处理输入来减轻对抗扰动的影响，从而提供了一种更加高效和灵活的防御手段。此外，论文还提出了两种具体的输入变换策略：自编码器去噪和有界变换，并验证了它们的有效性。

关键设计：在自编码器去噪方面，使用了标准的自编码器结构，目标是重建原始状态。损失函数为重构误差。在有界变换方面，论文探索了位深度降低和矢量量化（VQ）两种方法。位深度降低通过减少状态表示的精度来降低对抗扰动的影响。矢量量化将状态空间划分为若干个离散的区域，并将每个状态映射到其所属区域的中心点，从而实现状态的压缩和去噪。VQ的关键参数包括码本大小和码本学习算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TIRL方法能够有效防御多种对抗攻击。例如，在使用矢量量化（VQ）作为输入变换防御时，TIRL在多个MuJoCo环境中都取得了显著的性能提升。与未采用防御机制的基线方法相比，TIRL在受到对抗攻击时，能够保持更高的奖励和更低的失败率。此外，实验还表明，TIRL方法具有较好的泛化能力，能够防御不同类型的对抗攻击。

🎯 应用场景

TIRL方法具有广泛的应用前景，尤其是在需要高可靠性和安全性的强化学习应用中。例如，在自动驾驶领域，可以利用TIRL来防御恶意攻击者对传感器数据的篡改，从而保证车辆的安全行驶。在机器人控制领域，可以利用TIRL来提高机器人对环境变化的适应能力，使其能够在复杂和不确定的环境中稳定工作。此外，TIRL还可以应用于金融交易、网络安全等领域，以提高智能体在对抗环境中的鲁棒性。

📄 摘要（原文）

Reinforcement Learning (RL) agents demonstrating proficiency in a training environment exhibit vulnerability to adversarial perturbations in input observations during deployment. This underscores the importance of building a robust agent before its real-world deployment. To alleviate the challenging point, prior works focus on developing robust training-based procedures, encompassing efforts to fortify the deep neural network component's robustness or subject the agent to adversarial training against potent attacks. In this work, we propose a novel method referred to as Transformed Input-robust RL (TIRL), which explores another avenue to mitigate the impact of adversaries by employing input transformation-based defenses. Specifically, we introduce two principles for applying transformation-based defenses in learning robust RL agents: (1) autoencoder-styled denoising to reconstruct the original state and (2) bounded transformations (bit-depth reduction and vector quantization (VQ)) to achieve close transformed inputs. The transformations are applied to the state before feeding it into the policy network. Extensive experiments on multiple MuJoCo environments demonstrate that input transformation-based defenses, i.e., VQ, defend against several adversaries in the state observations. The official code is available at https://github.com/tunglm2203/tirl