LRCTI: A Large Language Model-Based Framework for Multi-Step Evidence Retrieval and Reasoning in Cyber Threat Intelligence Credibility Verification
作者: Fengxiao Tang, Huan Li, Ming Zhao, Zongzong Wu, Shisong Peng, Tao Yin
分类: cs.CR, cs.CL
发布日期: 2025-07-15
💡 一句话要点
LRCTI：基于大语言模型的多步证据检索与推理框架，用于网络威胁情报可信度验证
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网络威胁情报 可信度验证 大语言模型 证据检索 自然语言推理 多步推理 网络安全
📋 核心要点
- 现有CTI可信度验证方法缺乏处理复杂、异构情报的鲁棒性，且决策过程不透明，限制了实际应用效果。
- LRCTI框架利用大语言模型，通过文本摘要、多步证据检索和自然语言推理，实现可信度验证。
- 实验结果表明，LRCTI在CTI-200和PolitiFact数据集上，F1-Macro和F1-Micro得分均提升超过5%。
📝 摘要（中文）
验证网络威胁情报（CTI）的可信度对于可靠的网络安全防御至关重要。传统方法通常将此任务视为静态分类问题，依赖于手工特征或孤立的深度学习模型。这些方法缺乏处理不完整、异构或嘈杂情报的鲁棒性，并且决策透明度有限，从而降低了它们在实际威胁环境中的有效性。为了解决这些局限性，我们提出了LRCTI，一个基于大语言模型（LLM）的框架，专为多步CTI可信度验证而设计。该框架首先采用文本摘要模块将复杂的情报报告提炼成简洁且可操作的威胁声明。然后，它使用自适应的多步证据检索机制，在LLM反馈的指导下，迭代地从CTI特定语料库中识别和提炼支持信息。最后，应用基于提示的自然语言推理（NLI）模块来评估每个声明的可信度，同时为分类结果生成可解释的理由。在CTI-200和PolitiFact两个基准数据集上进行的实验表明，与最先进的基线相比，LRCTI的F1-Macro和F1-Micro得分提高了5%以上，分别达到90.9%和93.6%。这些结果表明，LRCTI有效地解决了先前方法的核心局限性，为自动化CTI可信度验证提供了一个可扩展、准确且可解释的解决方案。
🔬 方法详解
问题定义：论文旨在解决网络威胁情报（CTI）可信度验证的问题。现有方法主要依赖手工特征或孤立的深度学习模型，难以处理实际场景中复杂、不完整、异构的情报数据，并且缺乏决策透明度，导致验证结果的可靠性不高。
核心思路：论文的核心思路是利用大语言模型（LLM）的强大能力，构建一个多步骤的证据检索和推理框架。通过LLM对情报进行理解、提炼和推理，从而更准确地评估CTI的可信度。这种方法旨在提高验证的准确性、鲁棒性和可解释性。
技术框架：LRCTI框架包含三个主要模块：1) 文本摘要模块：使用LLM将复杂的情报报告提炼成简洁的威胁声明。2) 自适应多步证据检索模块：基于LLM的反馈，迭代地从CTI语料库中检索和提炼支持信息。3) 基于提示的自然语言推理（NLI）模块：利用LLM评估每个声明的可信度，并生成可解释的理由。整个流程通过LLM驱动，实现自动化和可解释的CTI可信度验证。
关键创新：LRCTI的关键创新在于将大语言模型应用于CTI可信度验证，并设计了一个多步骤的证据检索和推理流程。与传统方法相比，LRCTI能够更好地理解和处理复杂的情报数据，并提供可解释的验证结果。自适应多步证据检索机制也是一个重要的创新点，它能够根据LLM的反馈，迭代地优化证据检索过程。
关键设计：文本摘要模块使用了基于Transformer的摘要模型，例如BART或T5。自适应多步证据检索模块使用LLM作为检索器，并结合了相似度匹配和语义理解技术。基于提示的NLI模块通过设计合适的提示语，引导LLM进行推理和判断。损失函数方面，可能使用了交叉熵损失或对比学习损失来训练LLM。具体的参数设置和网络结构细节在论文中可能没有详细描述，需要进一步查阅论文原文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LRCTI在CTI-200和PolitiFact两个基准数据集上，F1-Macro和F1-Micro得分均显著提升。具体而言，LRCTI的F1-Macro得分达到90.9%，F1-Micro得分达到93.6%，相比于最先进的基线方法，提升幅度超过5%。这些结果验证了LRCTI框架在CTI可信度验证方面的有效性。
🎯 应用场景
LRCTI框架可应用于自动化网络安全防御体系中，帮助安全分析师快速准确地评估威胁情报的可信度，从而做出更明智的决策。该框架还可用于构建可信的网络威胁情报知识库，提高情报共享和利用的效率。未来，该研究可扩展到其他安全领域，例如漏洞管理和恶意软件分析。
📄 摘要（原文）
Verifying the credibility of Cyber Threat Intelligence (CTI) is essential for reliable cybersecurity defense. However, traditional approaches typically treat this task as a static classification problem, relying on handcrafted features or isolated deep learning models. These methods often lack the robustness needed to handle incomplete, heterogeneous, or noisy intelligence, and they provide limited transparency in decision-making-factors that reduce their effectiveness in real-world threat environments. To address these limitations, we propose LRCTI, a Large Language Model (LLM)-based framework designed for multi-step CTI credibility verification. The framework first employs a text summarization module to distill complex intelligence reports into concise and actionable threat claims. It then uses an adaptive multi-step evidence retrieval mechanism that iteratively identifies and refines supporting information from a CTI-specific corpus, guided by LLM feedback. Finally, a prompt-based Natural Language Inference (NLI) module is applied to evaluate the credibility of each claim while generating interpretable justifications for the classification outcome. Experiments conducted on two benchmark datasets, CTI-200 and PolitiFact show that LRCTI improves F1-Macro and F1-Micro scores by over 5%, reaching 90.9% and 93.6%, respectively, compared to state-of-the-art baselines. These results demonstrate that LRCTI effectively addresses the core limitations of prior methods, offering a scalable, accurate, and explainable solution for automated CTI credibility verification