From Retrieval to Reasoning: A Framework for Cyber Threat Intelligence NER with Explicit and Adaptive Instructions

📄 arXiv: 2512.19414v1 📥 PDF

作者: Jiaren Peng, Hongda Sun, Xuan Tian, Cheng Huang, Zeqing Li, Rui Yan

分类: cs.CR, cs.CL

发布日期: 2025-12-22

💡 一句话要点

提出TTPrompt框架以解决网络威胁情报NER的指令适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络威胁情报 命名实体识别 大型语言模型 显式指令 反馈驱动 自动化安全 文本分析

📋 核心要点

  1. 现有基于检索的上下文学习方法在网络威胁情报NER中存在依赖隐式归纳的局限性，导致性能不稳定。
  2. 本文提出TTPrompt框架，通过将CTI的战术、技术和程序映射为指令层次结构，转向显式指令以提高NER的准确性。
  3. 实验结果表明，TTPrompt在多个基准测试中超越传统方法，尤其在仅使用1%训练数据时，性能接近全数据集微调模型。

📝 摘要（中文）

网络威胁情报（CTI）的自动化依赖于命名实体识别（NER）从非结构化文本中提取关键实体。目前，大型语言模型（LLMs）主要通过基于检索的上下文学习（ICL）来处理此任务。本文分析了这一主流范式，揭示了其根本缺陷：成功并非源于全局语义相似性，而是来自于检索示例中实体类型的偶然重叠。为了解决这一问题，本文提出了TTPrompt框架，转向显式指令，并通过反馈驱动的指令细化（FIR）来处理静态指南的适应性挑战。实验表明，TTPrompt在五个CTI NER基准上持续超越基于检索的基线，显示出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决网络威胁情报（CTI）中命名实体识别（NER）任务的准确性问题，现有方法依赖于检索的隐式归纳，导致性能不稳定和不可靠。

核心思路：TTPrompt框架通过将CTI的战术、技术和程序（TTPs）映射为显式指令，提供明确的任务定义和指导策略，从而提高NER的效果。

技术框架：该框架包括三个主要模块：战术（Tactics）用于任务定义，技术（Techniques）用于指导策略，程序（Procedures）用于注释指南。此外，反馈驱动的指令细化（FIR）模块允许模型根据错误进行自我调整。

关键创新：最重要的创新在于从隐式归纳转向显式指令，FIR模块使得模型能够在少量标注数据上进行自我优化，适应不同的注释方言。

关键设计：在模型设计中，采用了层次化的指令结构，结合了反馈机制，允许模型在训练过程中动态调整指令内容，从而提高了适应性和准确性。具体的损失函数和参数设置在实验中经过优化，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TTPrompt在五个CTI NER基准测试中均超越了基于检索的基线，尤其在LADDER数据集上，Micro F1达到了71.96%，接近全数据集微调模型的性能。此外，在复杂的CTINexus数据集上，Macro F1比微调的ACLM模型高出10.91%。

🎯 应用场景

该研究在网络安全领域具有广泛的应用潜力，尤其是在自动化威胁检测和响应系统中。通过提高NER的准确性，TTPrompt框架能够帮助安全分析师更有效地识别和响应网络威胁，提升整体安全防护能力。未来，该方法还可以扩展到其他领域的文本分析任务中，具有重要的实际价值。

📄 摘要（原文）

The automation of Cyber Threat Intelligence (CTI) relies heavily on Named Entity Recognition (NER) to extract critical entities from unstructured text. Currently, Large Language Models (LLMs) primarily address this task through retrieval-based In-Context Learning (ICL). This paper analyzes this mainstream paradigm, revealing a fundamental flaw: its success stems not from global semantic similarity but largely from the incidental overlap of entity types within retrieved examples. This exposes the limitations of relying on unreliable implicit induction. To address this, we propose TTPrompt, a framework shifting from implicit induction to explicit instruction. TTPrompt maps the core concepts of CTI's Tactics, Techniques, and Procedures (TTPs) into an instruction hierarchy: formulating task definitions as Tactics, guiding strategies as Techniques, and annotation guidelines as Procedures. Furthermore, to handle the adaptability challenge of static guidelines, we introduce Feedback-driven Instruction Refinement (FIR). FIR enables LLMs to self-refine guidelines by learning from errors on minimal labeled data, adapting to distinct annotation dialects. Experiments on five CTI NER benchmarks demonstrate that TTPrompt consistently surpasses retrieval-based baselines. Notably, with refinement on just 1% of training data, it rivals models fine-tuned on the full dataset. For instance, on LADDER, its Micro F1 of 71.96% approaches the fine-tuned baseline, and on the complex CTINexus, its Macro F1 exceeds the fine-tuned ACLM model by 10.91%.