Organizational Adaptation to Generative AI in Cybersecurity: A Systematic Review

📄 arXiv: 2506.12060v1 📥 PDF

作者: Christopher Nott

分类: cs.CR, cs.AI, cs.CY

发布日期: 2025-05-31

备注: 38 pages, 1 table, 1 figure


💡 一句话要点

网络安全组织通过调整框架和流程适应生成式AI,提升威胁建模和风险应对能力。

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 生成式AI 网络安全 威胁建模 风险管理 自动化 大型语言模型 安全治理

📋 核心要点

  1. 现有网络安全威胁建模方法难以有效应对生成式AI带来的新型安全风险和挑战。
  2. 通过系统分析和案例研究,探索网络安全组织如何调整框架和流程以适应生成式AI。
  3. 研究揭示了三种主要的适应模式,并强调了安全成熟度、治理和人为监督的重要性。

📝 摘要(中文)

网络安全组织正在通过修改框架和混合操作流程来适应生成式人工智能(GenAI)的集成。其成功受到现有安全成熟度、监管要求以及对人力资本和基础设施投资的影响。本研究采用系统的文献分析和比较案例研究方法,考察网络安全组织如何调整其威胁建模框架和操作流程,以应对生成式人工智能的集成。通过对2022年至2025年的25项研究的考察,记录了组织在威胁建模方法上的重大转变,从传统的基于签名的系统转向包含人工智能能力的框架。研究确定了三种主要的适应模式:用于安全应用的大型语言模型集成、用于风险检测和响应自动化的GenAI框架,以及用于威胁狩猎的AI/ML集成。在金融和关键基础设施领域,具有成熟安全基础设施的组织通过结构化的治理方法、专门的AI团队和强大的事件响应流程,表现出更高的准备度。组织在保持对自动化系统的适当人为监督、解决数据质量问题和可解释性要求,并建立针对其特定行业的治理框架时,可以成功地集成GenAI。组织在隐私保护、减少偏见、人员培训和防御对抗性攻击方面遇到持续的困难。这项工作加深了对组织如何在高度风险环境中采用创新技术的理解,并为实施GenAI系统的网络安全专业人员提供了可操作的见解。

🔬 方法详解

问题定义:论文旨在解决网络安全组织如何有效适应生成式AI集成的问题。现有基于签名的威胁建模系统难以应对GenAI带来的新型攻击和安全风险,需要新的框架和流程来提升威胁检测和响应能力。现有方法在数据质量、可解释性、隐私保护和对抗性攻击防御方面存在不足。

核心思路:论文的核心思路是通过系统性地分析现有研究和案例,识别网络安全组织在集成GenAI时采用的适应模式,并评估这些模式的有效性。重点关注组织如何调整威胁建模框架和操作流程,以及哪些因素影响了GenAI集成的成功。

技术框架:研究采用系统文献分析和比较案例研究相结合的方法。首先,通过系统的文献检索和筛选,选取了2022年至2025年间关于网络安全组织适应GenAI的25项研究。然后,对这些研究进行深入分析,识别出三种主要的适应模式:1) 大型语言模型集成用于安全应用;2) GenAI框架用于风险检测和响应自动化;3) AI/ML集成用于威胁狩猎。最后,通过比较不同组织的案例,评估了安全成熟度、治理结构和人为监督等因素对GenAI集成成功的影响。

关键创新:论文的关键创新在于系统性地识别和分类了网络安全组织适应GenAI的三种主要模式,并深入分析了影响GenAI集成成功的关键因素。这为网络安全专业人员提供了可操作的见解,帮助他们更好地实施GenAI系统。

关键设计:研究的关键设计包括:1) 严格的文献检索和筛选标准,确保研究的可靠性和代表性;2) 详细的案例研究,深入了解不同组织在GenAI集成方面的实践;3) 对安全成熟度、治理结构和人为监督等因素的量化评估,为GenAI集成提供指导。

📊 实验亮点

研究发现,具有成熟安全基础设施的组织,尤其是在金融和关键基础设施领域,通过结构化的治理方法、专门的AI团队和强大的事件响应流程,表现出更高的GenAI集成准备度。成功集成GenAI的关键在于保持适当的人为监督,解决数据质量和可解释性问题,并建立针对特定行业的治理框架。

🎯 应用场景

该研究成果可应用于金融、关键基础设施等高风险行业,帮助网络安全组织更好地利用生成式AI提升威胁建模、风险检测和响应自动化能力。研究结论为网络安全专业人员提供了实践指导,有助于制定更有效的GenAI集成策略,并应对相关的安全挑战。

📄 摘要(原文)

Cybersecurity organizations are adapting to GenAI integration through modified frameworks and hybrid operational processes, with success influenced by existing security maturity, regulatory requirements, and investments in human capital and infrastructure. This qualitative research employs systematic document analysis and comparative case study methodology to examine how cybersecurity organizations adapt their threat modeling frameworks and operational processes to address generative artificial intelligence integration. Through examination of 25 studies from 2022 to 2025, the research documents substantial transformation in organizational approaches to threat modeling, moving from traditional signature-based systems toward frameworks incorporating artificial intelligence capabilities. The research identifies three primary adaptation patterns: Large Language Model integration for security applications, GenAI frameworks for risk detection and response automation, and AI/ML integration for threat hunting. Organizations with mature security infrastructures, particularly in finance and critical infrastructure sectors, demonstrate higher readiness through structured governance approaches, dedicated AI teams, and robust incident response processes. Organizations achieve successful GenAI integration when they maintain appropriate human oversight of automated systems, address data quality concerns and explainability requirements, and establish governance frameworks tailored to their specific sectors. Organizations encounter ongoing difficulties with privacy protection, bias reduction, personnel training, and defending against adversarial attacks. This work advances understanding of how organizations adopt innovative technologies in high-stakes environments and offers actionable insights for cybersecurity professionals implementing GenAI systems.