ROAM: Reinforcement Learning Optimized Adaptive Moving Target Defense for Smart Grid

📄 arXiv: 2610.12730v1 📥 PDF

作者: Mohammad Zakaria Haider, Prabin Mali, Muhammad Nadeem, Sumit Paudyal, Fei Ding, Mohammad Ashiqur Rahman

分类: eess.SY

发布日期: 2026-10-08

备注: This manuscript is under submission at IEEE TIFS

💡 一句话要点

提出ROAM以解决智能电网中的隐蔽数据注入攻击问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 智能电网 移动目标防御 深度强化学习 虚假数据注入 实时防御 深度Q网络 安全性 系统可靠性

📋 核心要点

  1. 现有的移动目标防御方案多采用静态或预定随机化，无法根据实时威胁证据进行动态调整，导致防御效果不佳。
  2. ROAM通过深度强化学习优化传感器身份映射，能够实时适应攻击模式，提升防御灵活性和有效性。
  3. 在多种测试场景下，ROAM成功将隐蔽攻击比例控制在2.6%以下，且检测率保持在92%以上，显示出优越的实时防御能力。

📝 摘要（中文）

智能电网依赖于分布式相量测量单元（PMUs）和广域通信网络，其数据采集管道易受隐蔽的虚假数据注入（FDI）攻击，常规的坏数据检测（BDD）方法难以应对。移动目标防御（MTD）通过不断重新映射传感器身份来应对这一风险，但现有方案多采用静态或预定随机化，且各自受限于单一失效模式。本文提出ROAM，一个基于深度强化学习（DRL）的MTD框架，利用深度Q网络（DQN）代理在聚合层持续优化传感器与ID的映射。ROAM在IEEE 14、57和118总线系统的BDD合规FDI场景中，将隐蔽攻击比例保持在3%以下，同时检测率超过93%。

🔬 方法详解

问题定义：本文旨在解决智能电网中隐蔽虚假数据注入攻击的防御问题。现有的移动目标防御方法存在静态随机化和单一失效模式的局限，无法有效应对动态攻击。

核心思路：ROAM框架利用深度强化学习，通过深度Q网络（DQN）代理实时优化传感器与ID的映射，能够根据实时威胁证据动态调整防御策略。

技术框架：ROAM的整体架构包括数据采集、决策制定和执行三个主要模块。DQN代理在每个决策步骤中选择欺骗覆盖范围，标记需要重新映射的传感器，并设置基于种子和机器学习预测的传感器重映射比例。

关键创新：ROAM的主要创新在于其动态适应性，能够实时响应攻击者的行为，而不是依赖于静态或预定的随机化策略。这种设计使得防御更具灵活性和有效性。

关键设计：ROAM在设计中保持了IEEE C37.118兼容性，且不需要修改PMU硬件。关键参数包括DQN的训练策略、损失函数的设计，以及传感器重映射的具体实施方案。通过硬件在环测试，ROAM实现了平均18毫秒的快速重映射执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ROAM在IEEE 14、57和118总线系统的测试中，将隐蔽攻击比例控制在3%以下，检测率超过93%。在面对自适应攻击者时，隐蔽攻击比例降至2.6%，检测率保持在92%以上，显示出其优越的实时防御能力和适应性。

🎯 应用场景

ROAM框架具有广泛的应用潜力，特别是在智能电网、工业控制系统和其他关键基础设施中。通过增强对隐蔽攻击的防御能力，ROAM能够提升系统的安全性和可靠性，确保数据采集和传输的完整性。未来，该技术还可以扩展到其他领域，如物联网和智能城市管理，进一步提升整体安全防护水平。

📄 摘要（原文）

Smart grids rely on distributed phasor measurement units (PMUs) and wide-area communication networks whose data-acquisition pipelines are vulnerable to stealthy false data injection (FDI) attacks that evade conventional bad-data detection (BDD). Moving target defense (MTD) counters this exposure by continuously remapping sensor identities, but existing schemes apply static or pre-scheduled randomization and are each constrained by a single failure mode: seed-based methods are fast yet fragile to key compromise, while machine learning (ML) based prediction methods are resilient yet incur prohibitive latency. Neither adapts its randomization to live threat evidence. This paper presents ROAM, a deep reinforcement learning (DRL) driven MTD framework in which a deep Q-network (DQN) agent continuously re-optimizes the sensor-to-ID mapping at the aggregation layer. At each decision step, the agent selects the deception coverage, flags the specific sensors to remap, and sets the split of the remapped sensors between seed-based and ML-prediction-based recovery, without modifying PMU hardware and while preserving IEEE C37.118 compatibility. On held-out BDD-compliant FDI scenarios across the IEEE 14-, 57-, and 118- bus systems, ROAM keeps the percentage of stealthy attacks below 3% while sustaining detection rates above 93%. Against an adaptive soft actor-critic (SAC) attacker that observes the defender's configuration, ROAM keeps stealthy attacks below 2.6% with detection above 92%. Hardware-in-the-loop testing on an OPAL-RT platform confirms real-time feasibility, with sub-18ms average shuffle execution and an average reshuffle blind window of 2.6% of the 3-s decision cycle.