Uncovering Vulnerabilities of LLM-Assisted Cyber Threat Intelligence

📄 arXiv: 2509.23573v2 📥 PDF

作者: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Jinyuan Jia, Guanhua Yan, Ping Yang, Zhaohan Xi

分类: cs.CR, cs.AI

发布日期: 2025-09-28 (更新: 2025-10-01)

💡 一句话要点

揭示LLM辅助网络威胁情报的脆弱性，提出针对性分析方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 网络威胁情报 脆弱性分析 错误分类 人机协作

📋 核心要点

  1. 现有LLM在网络威胁情报任务中存在性能差距，无法有效应对复杂多变的网络威胁环境。
  2. 提出一种新颖的分类方法，结合分层、自回归细化和人机协作，可靠分析LLM的失败案例。
  3. 实验揭示了LLM在CTI中存在的虚假相关性、矛盾知识和受限泛化三种基本脆弱性。

📝 摘要（中文）

大型语言模型（LLM）被广泛应用于辅助安全分析师应对快速演变的网络威胁，为漏洞评估和事件响应提供网络威胁情报（CTI）。尽管现有研究表明LLM可以支持多种CTI任务，如威胁分析、漏洞检测和入侵防御，但在实际部署中仍然存在显著的性能差距。本文研究了LLM在CTI中的内在脆弱性，重点关注威胁环境本身而非模型架构所带来的挑战。通过对多个CTI基准和真实威胁报告的大规模评估，我们引入了一种新颖的分类方法，该方法集成了分层、自回归细化和人机协作监督，以可靠地分析失败案例。通过广泛的实验和人工检查，我们揭示了三种基本脆弱性：虚假相关性、矛盾知识和受限泛化，这些因素限制了LLM有效支持CTI的能力。最后，我们为设计更强大的LLM驱动的CTI系统提供了可操作的见解，以促进未来的研究。

🔬 方法详解

问题定义：论文旨在解决LLM在网络威胁情报（CTI）应用中存在的脆弱性问题。现有方法未能充分考虑威胁环境本身的复杂性和动态性，导致LLM在实际部署中性能不佳，无法有效支持安全分析师进行漏洞评估和事件响应。

核心思路：论文的核心思路是通过大规模评估和细致的错误分析，揭示LLM在CTI任务中存在的内在缺陷。通过构建包含分层、自回归细化和人机协作的分类方法，对LLM的失败案例进行深入分析，从而识别出限制LLM性能的关键因素。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据收集：构建大规模的CTI数据集，包括多个CTI基准和真实威胁报告。2) 模型评估：使用LLM在CTI数据集上进行评估，记录性能指标和失败案例。3) 错误分类：应用提出的分类方法，对失败案例进行分层、自回归细化和人机协作分析，识别出LLM的脆弱性。4) 脆弱性分析：对识别出的脆弱性进行深入分析，探讨其产生的原因和影响。5) 改进建议：基于脆弱性分析的结果，提出改进LLM驱动的CTI系统的建议。

关键创新：论文最重要的技术创新点在于提出了一种新颖的分类方法，用于分析LLM在CTI任务中的失败案例。该方法集成了分层、自回归细化和人机协作，能够更全面、更准确地识别出LLM的脆弱性。与现有方法相比，该方法更加注重对错误原因的深入分析，而非仅仅关注整体性能指标。

关键设计：论文的关键设计包括：1) 分层分类：将错误案例按照不同的维度进行分层，例如按照威胁类型、漏洞类型等进行分类。2) 自回归细化：使用LLM对错误案例进行自回归分析，逐步细化错误原因。3) 人机协作：引入人工专家对LLM的分析结果进行审核和修正，提高分类的准确性。此外，论文还设计了针对不同脆弱性的评估指标，例如使用一致性指标评估LLM的矛盾知识。

📊 实验亮点

论文通过大规模实验揭示了LLM在CTI中存在的虚假相关性、矛盾知识和受限泛化三种基本脆弱性。例如，实验发现LLM在处理包含虚假相关性的威胁报告时，容易产生错误的判断。此外，LLM在处理涉及多个知识领域的威胁情报时，容易出现知识冲突，导致推理错误。这些发现为改进LLM在CTI中的应用提供了重要的依据。

🎯 应用场景

该研究成果可应用于提升LLM在网络安全领域的应用效果，例如改进威胁情报分析、漏洞检测和入侵防御系统。通过解决LLM在CTI中存在的脆弱性，可以提高安全分析师的工作效率，降低网络安全风险，并为未来的LLM驱动的CTI系统设计提供指导。

📄 摘要（原文）

Large Language Models (LLMs) are intensively used to assist security analysts in counteracting the rapid exploitation of cyber threats, wherein LLMs offer cyber threat intelligence (CTI) to support vulnerability assessment and incident response. While recent work has shown that LLMs can support a wide range of CTI tasks such as threat analysis, vulnerability detection, and intrusion defense, significant performance gaps persist in practical deployments. In this paper, we investigate the intrinsic vulnerabilities of LLMs in CTI, focusing on challenges that arise from the nature of the threat landscape itself rather than the model architecture. Using large-scale evaluations across multiple CTI benchmarks and real-world threat reports, we introduce a novel categorization methodology that integrates stratification, autoregressive refinement, and human-in-the-loop supervision to reliably analyze failure instances. Through extensive experiments and human inspections, we reveal three fundamental vulnerabilities: spurious correlations, contradictory knowledge, and constrained generalization, that limit LLMs in effectively supporting CTI. Subsequently, we provide actionable insights for designing more robust LLM-powered CTI systems to facilitate future research.