Reasoning Topology Matters: A Controlled Study of LLM-Based Cybersecurity Analysis

📄 arXiv: 2609.24710v1 📥 PDF

作者: Jiling Zhou, Aisvarya Adeseye, Antti Hakkala, Seppo Virtanen, Jouni Isoaho

分类: cs.CR, cs.AI

发布日期: 2026-09-21

备注: Accepted at AIAIS 2027

💡 一句话要点

提出安全推理拓扑以提升网络安全分析的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 大型语言模型 推理结构 MITRE ATT&CK 威胁情报 CVE分析 性能提升

📋 核心要点

  1. 现有的提示方法未能有效考虑推理过程的结构化，导致网络安全分析的准确性不足。
  2. 本文提出安全推理拓扑，通过线性、分支和图形结构来优化推理过程，提升分析的准确性。
  3. 实验结果显示，图形推理在多个数据集上提高了9.8-12.2个百分点的准确率，分支推理也表现出良好的中间效果。

📝 摘要（中文）

大型语言模型（LLMs）在网络安全领域的应用日益增多，准确分析通常需要对复杂和异构数据进行多步骤和上下文依赖的推理。然而，现有的提示方法通常关注于引导推理，而未明确考虑中间推理步骤的结构组织。本文引入了安全推理拓扑，通过线性、分支和图形三种代表性结构来建模推理。通过对MITRE ATT&CK网络流量、网络威胁情报（CTI）和CVE漏洞分析的三个网络安全数据集进行控制实验，评估了多种LLM的表现。结果表明，推理拓扑显著影响性能：图形推理在各数据集上提高了9.8-12.2个百分点的整体准确性，而分支推理则提供了强有力的中间解决方案。推理拓扑在不同模型家族和规模中效果一致，强调了其作为LLM基础网络安全分析的重要设计因素。

🔬 方法详解

问题定义：本文旨在解决现有LLM在网络安全分析中推理结构不明确的问题，导致分析结果的准确性不足。

核心思路：通过引入安全推理拓扑，明确推理过程的结构，优化多步骤推理的效果，从而提升网络安全分析的准确性。

技术框架：整体架构包括三个主要模块：数据集准备、推理结构设计和模型评估。数据集涵盖MITRE ATT&CK、CTI和CVE分析，推理结构则采用线性、分支和图形三种形式。

关键创新：最重要的创新在于提出了安全推理拓扑这一概念，系统性地组织推理步骤，与传统的线性推理方法形成鲜明对比。

关键设计：在实验中，保持任务输入一致，通过系统级提示控制推理结构，确保对比结果的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，图形推理在各数据集上实现了9.8-12.2个百分点的准确率提升，相较于少量示例提示方法，表现出显著的优势。分支推理作为中间解决方案，也展现了良好的性能，强调了推理拓扑的重要性。

🎯 应用场景

该研究的潜在应用领域包括网络安全分析、威胁检测和漏洞评估等。通过优化推理结构，提升LLM在复杂数据环境中的分析能力，能够为网络安全领域提供更为准确和高效的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used in cybersecurity, where accurate analysis often requires multi-step and context-dependent reasoning over complex and heterogeneous data. However, existing prompting approaches typically focus on eliciting reasoning without explicitly considering how intermediate reasoning steps are structurally organized. We introduce Security Reasoning Topology, which models reasoning through three representative structures: Linear, Branching, and Graph. To evaluate their effects, we conduct controlled experiments on three cybersecurity datasets covering MITRE ATT&CK network traffic, cyber threat intelligence (CTI), and CVE vulnerability analysis. We evaluate multiple LLMs, including Llama 2 (7B, 13B, 70B), GPT-5.1, and Mistral Large 3, while keeping task inputs consistent and controlling reasoning structure through system-level prompting. Results show that reasoning topology substantially affects performance: Graph reasoning achieves the highest overall accuracy, improving over few-shot prompting by 9.8-12.2 percentage points across datasets, while Branching provides a strong intermediate solution. The results further show that the effect of reasoning topology remains consistent across model families and scales, highlighting reasoning topology as an important design factor for LLM-based cybersecurity analysis.