Invisible Manipulation Deep Reinforcement Learning Enhanced Stealthy Attacks on Battery Energy Management Systems

📄 arXiv: 2410.17402v3 📥 PDF

作者: Qi Xiao, Lidong Song, Jongha Woo, Rongxing Hu, Bei Xu, Kai Ye, Ning Lu

分类: eess.SY

发布日期: 2024-10-22 (更新: 2024-11-10)

💡 一句话要点

提出基于深度强化学习的隐蔽攻击方法，用于操纵电池储能管理系统。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 虚假数据注入攻击 电池储能管理系统 网络安全 隐蔽攻击

📋 核心要点

  1. 现有方法难以在电池储能系统中实现隐蔽且具有策略性的攻击，容易被坏数据检测算法发现。
  2. 利用深度强化学习生成难以被检测的虚假数据，在目标时间段前操纵系统状态，实现隐蔽攻击。
  3. 通过微电网实时仿真测试平台验证了该方法的有效性，能够实现不同的攻击目标，且计算负担小。

📝 摘要（中文）

本文提出了一种名为“隐蔽操纵”的创新型网络攻击机制，该机制通过精心设计的、具有时间策略性的隐蔽虚假数据注入攻击（SFDIAs）来实现。攻击者通过在目标时间段之前隐蔽地操纵关键资产的测量数据，可以在不被检测到的情况下，巧妙地引导工程系统朝着预定的运行状态发展。以电池储能管理系统（BEMS）为例，我们利用深度强化学习（DRL）生成与实际测量数据高度吻合的合成测量数据，例如电池电压和电流。这些合成测量数据落在基于残差的坏数据检测算法的可接受误差范围内，从而可以逃避检测并误导基于扩展卡尔曼滤波器的荷电状态估计。随后，BEMS将这些欺骗性数据视为有效输入，并在目标时间段到来时，按照攻击者期望的运行状态运行电池储能系统（BESS）。基于DRL的方案将在线优化问题转化为离线训练过程，从而减轻了实时实现的计算负担。在高保真微电网实时仿真测试平台上的全面测试验证了所提出的方法在实现不同攻击目标方面的有效性和适应性。

🔬 方法详解

问题定义：论文旨在解决电池储能管理系统（BEMS）面临的网络安全问题，具体而言，是如何在不被现有坏数据检测机制发现的情况下，通过虚假数据注入攻击（SFDIA）来操纵BEMS，使其按照攻击者的意图运行。现有方法的痛点在于，直接注入的虚假数据容易超出残差检测的阈值，从而被检测出来，导致攻击失败。

核心思路：论文的核心思路是利用深度强化学习（DRL）生成与真实数据高度相似的合成测量数据，这些数据能够绕过残差检测，从而实现隐蔽的虚假数据注入。通过在目标时间段之前注入这些虚假数据，攻击者可以逐步引导BEMS的状态朝着期望的方向发展，最终在目标时间段实现攻击目标。这种方法将在线攻击问题转化为离线训练问题，降低了实时计算的复杂度。

技术框架：整体框架包含以下几个主要模块：1) 真实BEMS环境：提供真实的电池电压、电流等数据；2) DRL攻击代理：负责生成虚假数据，并根据环境反馈进行学习；3) 扩展卡尔曼滤波器（EKF）：用于估计电池的荷电状态（SoC），并作为BEMS的输入；4) 残差检测模块：用于检测是否存在坏数据。攻击流程为：DRL攻击代理生成虚假测量数据，注入到BEMS中，影响EKF的SoC估计，最终导致BEMS按照攻击者的意图运行。

关键创新：最重要的技术创新点在于利用DRL生成隐蔽的虚假数据。与传统的直接注入虚假数据的方法不同，该方法生成的虚假数据能够与真实数据高度相似，从而绕过残差检测。此外，将在线攻击问题转化为离线训练问题，降低了实时计算的复杂度，使得该方法更易于实际应用。

关键设计：论文中使用了深度确定性策略梯度（DDPG）算法作为DRL攻击代理。DDPG算法包含Actor网络和Critic网络，Actor网络负责生成虚假数据，Critic网络负责评估Actor网络的性能。损失函数的设计目标是使生成的虚假数据与真实数据尽可能相似，同时能够引导BEMS的状态朝着攻击者的意图发展。具体的网络结构和参数设置在论文中有详细描述（未知）。

📊 实验亮点

论文在高保真微电网实时仿真测试平台上进行了全面的测试，验证了所提出的方法在实现不同攻击目标方面的有效性和适应性。具体的性能数据（例如，攻击成功率、检测逃逸率等）以及与基线方法的对比结果（未知）在论文中进行了详细展示，表明该方法能够有效地操纵BEMS，同时避免被检测。

🎯 应用场景

该研究成果可应用于提高电池储能系统以及其他关键基础设施的网络安全性。通过模拟和分析潜在的攻击场景，可以帮助运营商更好地了解系统的脆弱性，并开发更有效的防御机制。此外，该方法还可以扩展到其他类型的工程系统，例如电力系统、水处理系统等，以提高其抵御网络攻击的能力。

📄 摘要（原文）

This paper introduces "invisible manipulation," an innovative cyber-attack mechanism achieved through strategically timed stealthy false data injection attacks (SFDIAs). By stealthily manipulating measurements of a critical asset prior to the target time period, the attacker can subtly guide the engineering system toward a predetermined operational state without detection. Using the battery energy management system (BEMS) as a case study, we employ deep reinforcement learning (DRL) to generate synthetic measurements, such as battery voltage and current, that align closely with actual measurements. These synthetic measurements, falling within the acceptable error margin of residual-based bad data detection algorithm provided by state estimation, can evade detection and mislead Extended Kalman-filter-based State of Charge estimation. Subsequently, considering the deceptive data as valid inputs, the BEMS will operate the BESS towards the attacker desired operational states when the targeted time period come. The use of the DRL-based scheme allows us to covert an online optimization problem into an offline training process, thereby alleviating the computational burden for real-time implementation. Comprehensive testing on a high-fidelity microgrid real-time simulation testbed validates the effectiveness and adaptability of the proposed methods in achieving different attack objectives.