Mind the Gap: Missing Cyber Threat Coverage in NIDS Datasets for the Energy Sector

📄 arXiv: 2511.00360v1 📥 PDF

作者: Adrita Rahman Tory, Khondokar Fida Hasan, Md Saifur Rahman, Nickolaos Koroniotis, Mohammad Ali Moni

分类: cs.CR, cs.AI, cs.LG

发布日期: 2025-11-01

备注: 13 pages

💡 一句话要点

评估NIDS数据集在能源领域网络威胁覆盖的缺失，填补IT/OT融合环境下的安全漏洞。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 网络入侵检测系统 NIDS数据集 能源领域安全 MITRE ATT&CK IT/OT融合

📋 核心要点

  1. 现有NIDS数据集主要针对企业环境，在能源领域IT/OT融合环境中效果存疑，缺乏针对性能源基础设施特定威胁的覆盖。
  2. 该研究通过将现有数据集与能源领域真实事件中提取的MITRE ATT&CK技术进行比对，评估其覆盖范围并识别缺失。
  3. 实验结果表明，现有数据集在横向移动和工业协议操纵方面存在明显差距，组合特定数据集可提升整体覆盖率。

📝 摘要（中文）

本研究评估了五个广泛使用的网络入侵检测系统（NIDS）数据集：CIC-IDS2017、SWaT、WADI、Sherlock和CIC-Modbus2023，在能源基础设施中融合的信息技术（IT）和运营技术（OT）环境下的有效性。通过结构化的五步分析方法，本文成功开发并执行了差距分析，从最初的274个ATT&CK技术中识别出94个网络可观察技术。Sherlock数据集表现出最高的平均覆盖率（0.56），其次是CIC-IDS2017（0.55），而SWaT和WADI的得分最低（0.38）。CIC-IDS2017、Sherlock和CIC-Modbus2023的组合实现了92%的总体覆盖率，突出了它们的互补优势。该分析识别了关键差距，特别是在横向移动和工业协议操纵方面，为数据集增强和混合IT/OT能源环境中更强大的NIDS评估提供了明确的途径。

🔬 方法详解

问题定义：现有网络入侵检测系统（NIDS）的训练和评估主要依赖于公开数据集，但这些数据集大多侧重于传统企业IT环境。在能源领域，IT与运营技术（OT）融合日益紧密，针对能源基础设施的网络攻击也日益增多。因此，现有NIDS数据集可能无法充分覆盖能源领域特有的网络威胁，导致NIDS在实际应用中效果不佳。现有方法的痛点在于缺乏对能源领域特定攻击场景的有效建模和覆盖。

核心思路：该论文的核心思路是通过将现有NIDS数据集与能源领域真实网络安全事件中提取的MITRE ATT&CK技术进行比对，评估数据集对能源领域特定威胁的覆盖程度。通过识别数据集覆盖的盲区，为后续数据集的增强和NIDS的改进提供指导。这种方法能够更准确地评估现有NIDS在能源领域的适用性，并指导开发更具针对性的安全防御措施。

技术框架：该研究采用了一个五步分析框架： 1. ATT&CK技术提取：从已记录的能源领域网络安全事件中提取相关的MITRE ATT&CK技术。 2. 网络可观察技术识别：确定可以通过网络流量检测到的ATT&CK技术。 3. 数据集分析：分析选定的NIDS数据集，确定其包含的网络流量类型和攻击模式。 4. 覆盖率评估：将数据集中的流量和攻击模式与网络可观察的ATT&CK技术进行匹配，评估数据集的覆盖率。 5. 差距分析：识别数据集未覆盖的ATT&CK技术，分析存在的差距。

关键创新：该研究的关键创新在于将MITRE ATT&CK框架应用于评估NIDS数据集在能源领域的适用性。通过这种方法，能够系统地识别现有数据集在覆盖能源领域特定威胁方面的不足。与传统评估方法相比，该方法更具针对性和实用性，能够为数据集的改进和NIDS的开发提供更有效的指导。

关键设计：该研究的关键设计包括： 1. ATT&CK技术的选择：选择与能源领域相关的ATT&CK技术，并重点关注可以通过网络流量检测到的技术。 2. 数据集的选择：选择广泛使用的NIDS数据集，包括CIC-IDS2017、SWaT、WADI、Sherlock和CIC-Modbus2023。 3. 覆盖率评估指标：使用平均覆盖率作为评估数据集性能的指标，并分析不同数据集的互补性。

📊 实验亮点

实验结果表明，Sherlock数据集在能源领域网络威胁覆盖方面表现最佳，平均覆盖率为0.56。CIC-IDS2017的覆盖率也较高，为0.55。SWaT和WADI数据集的覆盖率较低，仅为0.38。通过组合CIC-IDS2017、Sherlock和CIC-Modbus2023数据集，可以实现92%的总体覆盖率，表明不同数据集之间存在互补性。

🎯 应用场景

该研究成果可应用于能源基础设施的网络安全防御体系建设，指导安全工程师选择和组合合适的NIDS数据集，提升入侵检测系统的有效性。同时，研究结果也为NIDS数据集的开发者提供了改进方向，促进更贴合能源领域需求的专用数据集的开发，降低能源行业面临的网络安全风险。

📄 摘要（原文）

Network Intrusion Detection Systems (NIDS) developed using publicly available datasets predominantly focus on enterprise environments, raising concerns about their effectiveness for converged Information Technology (IT) and Operational Technology (OT) in energy infrastructures. This study evaluates the representativeness of five widely used datasets: CIC-IDS2017, SWaT, WADI, Sherlock, and CIC-Modbus2023 against network-detectable MITRE ATT&CK techniques extracted from documented energy sector incidents. Using a structured five-step analytical approach, this article successfully developed and performed a gap analysis that identified 94 network observable techniques from an initial pool of 274 ATT&CK techniques. Sherlock dataset exhibited the highest mean coverage (0.56), followed closely by CIC-IDS2017 (0.55), while SWaT and WADI recorded the lowest scores (0.38). Combining CIC-IDS2017, Sherlock, and CIC-Modbus2023 achieved an aggregate coverage of 92%, highlighting their complementary strengths. The analysis identifies critical gaps, particularly in lateral movement and industrial protocol manipulation, providing a clear pathway for dataset enhancement and more robust NIDS evaluation in hybrid IT/OT energy environments.