Leveraging Large Language Models for Cybersecurity Risk Assessment -- A Case from Forestry Cyber-Physical Systems
作者: Fikret Mert Gultekin, Oscar Lilja, Ranim Khojah, Rebekka Wohlrab, Marvin Damschen, Mazen Mohamad
分类: cs.SE, cs.AI, cs.CR
发布日期: 2025-10-07 (更新: 2025-10-11)
备注: Accepted at Autonomous Agents in Software Engineering (AgenticSE) Workshop, co-located with ASE 2025
💡 一句话要点
利用本地化大语言模型辅助林业网络物理系统网络安全风险评估
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 网络安全 风险评估 网络物理系统 检索增强生成 本地部署 安全关键系统
📋 核心要点
- 网络安全专家短缺导致软件工程师需承担网络安全风险评估工作，现有方法效率低且易出错。
- 论文提出利用本地化部署的LLM，结合检索增强生成技术，辅助网络安全风险评估，保障数据隐私。
- 实验结果表明，LLM能有效生成初步风险评估、识别威胁，但需人工监督以保证准确性和合规性。
📝 摘要（中文）
在安全攸关的软件系统中，网络安全活动至关重要，其中风险评估是最关键的环节之一。许多软件团队中，网络安全专家要么完全缺失，要么人数极少。这导致专家工作量巨大，软件工程师需要自行开展网络安全活动。因此，需要一种工具来支持网络安全专家和工程师在风险评估过程中评估漏洞和威胁。本文探讨了利用本地部署的、具有检索增强生成能力的大语言模型（LLM）来支持林业领域的网络安全风险评估的潜力，同时遵守限制外部数据共享的数据保护和隐私要求。我们进行了一项设计科学研究，包括对一个大型项目中的12位专家进行访谈、互动会话和调查。结果表明，LLM可以通过生成初始风险评估、识别威胁和提供冗余检查来帮助网络安全专家。结果还强调了人工监督以确保准确性和合规性的必要性。尽管存在信任问题，但专家们愿意在特定的评估和辅助角色中使用LLM，而不是仅仅依赖其生成能力。这项研究提供的见解鼓励使用基于LLM的代理来支持安全关键领域中网络物理系统的风险评估过程。
🔬 方法详解
问题定义：论文旨在解决安全关键型软件系统中，由于网络安全专家资源不足，导致风险评估效率低下且容易出错的问题。现有方法依赖人工，效率低，且对专家经验依赖性强。同时，数据隐私和安全限制了外部数据的使用，进一步加剧了问题。
核心思路：论文的核心思路是利用本地部署的大语言模型（LLM），结合检索增强生成（RAG）技术，构建一个辅助网络安全风险评估的工具。通过RAG，LLM可以访问本地知识库，从而在不违反数据隐私规定的前提下，生成更准确、更全面的风险评估报告。
技术框架：整体框架包含以下几个主要模块：1) 本地知识库构建：收集和整理林业网络物理系统相关的安全知识、漏洞信息、威胁情报等。2) LLM部署：在本地服务器上部署预训练的LLM。3) 检索增强生成模块：接收用户输入的风险评估请求，从本地知识库中检索相关信息，并将检索结果作为上下文输入LLM，生成风险评估报告。4) 人工审核模块：专家对LLM生成的报告进行审核和修改，确保准确性和合规性。
关键创新：论文的关键创新在于将LLM应用于网络安全风险评估，并结合RAG技术，解决了数据隐私限制下的知识获取问题。此外，论文强调了人工监督的重要性，将LLM定位为辅助工具，而非完全替代人工。
关键设计：论文中，LLM的选择需要考虑其在本地部署的可行性和生成能力。检索增强生成模块需要设计高效的检索算法，以快速找到相关信息。人工审核模块需要提供友好的用户界面，方便专家进行修改和确认。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细描述，属于未来研究方向。
🖼️ 关键图片
📊 实验亮点
研究通过对12位专家的访谈、互动会话和调查，验证了LLM在网络安全风险评估中的潜力。专家们普遍认为LLM可以辅助生成初步风险评估、识别威胁，并提供冗余检查。尽管存在信任问题，但专家们愿意在特定角色中使用LLM，而非完全依赖其生成能力。研究结果表明，LLM可以有效提升风险评估效率，但人工监督至关重要。
🎯 应用场景
该研究成果可应用于各种安全关键领域的网络物理系统风险评估，例如智能制造、能源、交通等。通过利用本地化LLM，可以提高风险评估效率，降低对网络安全专家的依赖，并保障数据隐私。未来，该方法有望集成到自动化安全工具中，实现更智能化的风险管理。
📄 摘要（原文）
In safety-critical software systems, cybersecurity activities become essential, with risk assessment being one of the most critical. In many software teams, cybersecurity experts are either entirely absent or represented by only a small number of specialists. As a result, the workload for these experts becomes high, and software engineers would need to conduct cybersecurity activities themselves. This creates a need for a tool to support cybersecurity experts and engineers in evaluating vulnerabilities and threats during the risk assessment process. This paper explores the potential of leveraging locally hosted large language models (LLMs) with retrieval-augmented generation to support cybersecurity risk assessment in the forestry domain while complying with data protection and privacy requirements that limit external data sharing. We performed a design science study involving 12 experts in interviews, interactive sessions, and a survey within a large-scale project. The results demonstrate that LLMs can assist cybersecurity experts by generating initial risk assessments, identifying threats, and providing redundancy checks. The results also highlight the necessity for human oversight to ensure accuracy and compliance. Despite trust concerns, experts were willing to utilize LLMs in specific evaluation and assistance roles, rather than solely relying on their generative capabilities. This study provides insights that encourage the use of LLM-based agents to support the risk assessment process of cyber-physical systems in safety-critical domains.