SecLog-Bench: A Scalable Benchmark for Cybersecurity Log Reasoning with Scaffolded Evidence

📄 arXiv: 2610.31000v1 📥 PDF

作者: Yifan Wang, Dongliang Xu, Xiaoyong Li, Jing Li, Peter S. Pan, Yue Yao

分类: cs.CR, cs.AI

发布日期: 2026-10-22

备注: 17 pages, 9 figures. Submitted to IEEE Transactions on Dependable and Secure Computing. Code and data: https://github.com/SecLog-Open/SecLog

💡 一句话要点

提出SecLog-Bench以解决网络安全日志推理的规模化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 日志分析 大型语言模型 攻击推理 多源数据

📋 核心要点

  1. 现有的网络安全日志分析方法面临数据集规模有限、证据来源单一及缺乏详细推理注释等挑战。
  2. 论文提出SecLog-Bench，通过构建可扩展的模拟平台和多源日志分析来解决上述问题。
  3. 实验结果表明，当前LLM在攻击进展推理方面的表现有限，最佳模型的准确率仅为44.44%。

📝 摘要（中文）

大型语言模型（LLMs）在网络安全领域展现出强大的潜力，促使基于LLM的自动化网络安全日志分析受到越来越多的关注。然而，现有数据集存在规模有限、主要依赖单一来源证据以及缺乏推理过程的密集注释等问题。为了解决这些不足，SecLog-Bench具备三个关键特性：构建了一个可扩展的模拟平台，涵盖29种攻击场景；使用多源日志共同分析网络攻击；为每个样本注释了网络安全日志推理的必要上下文和结构化的逐步证据链。通过对八种主流LLM的评估，结果显示在提供支撑证据的情况下，当前LLM在攻击进展推理方面表现一般，最佳模型的准确率仅为44.44%。

🔬 方法详解

问题定义：本论文旨在解决现有网络安全日志分析数据集规模小、证据来源单一及缺乏推理过程注释的问题。现有方法无法有效支持复杂的网络攻击分析。

核心思路：论文提出的核心思路是构建一个可扩展的模拟平台，支持多种攻击场景和多源日志分析，以增强网络安全日志的推理能力。

技术框架：整体架构包括一个模拟平台，涵盖29种攻击场景，支持新场景的集成和日志生成；同时，使用审计日志、应用日志和网络流量日志进行联合分析。

关键创新：最重要的创新点在于引入多源日志和结构化的证据链注释，提升了网络安全日志推理的深度和准确性，与现有方法相比，提供了更全面的分析视角。

关键设计：在参数设置上，论文设计了适应不同攻击阶段的标签，并采用了结构化的逐步证据链注释，以便于LLM进行有效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前主流LLM在提供支撑证据的情况下，攻击进展推理的最佳模型仅达到44.44%的准确率和45.07%的Macro-F1，且推理质量与预测准确性之间存在不一致，最高的阶段推理F1（SRF1）分数仅为54.87%。

🎯 应用场景

该研究的潜在应用领域包括网络安全监测、事件响应和安全审计等。通过提供更全面的日志分析工具，SecLog-Bench能够帮助安全专家更有效地识别和响应网络攻击，从而提升整体网络安全防护能力。未来，该平台有望推动更多基于LLM的网络安全应用开发。

📄 摘要（原文）

Large language models (LLMs) have shown strong potential for cybersecurity, leading to growing interest in LLM-based automated cybersecurity log analysis. However, current datasets (1) are limited in scale; (2) rely mainly on single-source evidence; and (3) have only binary or multi-class attack labels, without dense annotations of the reasoning process. To address these limitations, SecLog-Bench has three key features. First, we build an extensible simulation platform that covers 29 attack scenarios, supports repeated execution and the integration of new scenarios, and enables scalable generation of cybersecurity logs with attack-stage labels. Second, we use multi-source logs, including audit logs, application logs, and network traffic, to jointly analyze cyber attacks. Third, we annotate each sample with the essential context for cybersecurity log reasoning and a structured step-by-step evidence chain. We evaluate eight mainstream LLMs on this benchmark for post-detection attack-progress reasoning. Results show that, when provided with scaffolded evidence, current LLMs exhibit modest capability in attack-progress reasoning, with the best model achieving only 44.44% accuracy and 45.07% Macro-F1. Their reasoning remains unreliable; i.e., the highest Stage Reasoning F1 (SRF1) score is only 54.87%. Moreover, even correct predictions may be accompanied by flawed reasoning, and reasoning quality is often misaligned with prediction accuracy.