SynthCTI: LLM-Driven Synthetic CTI Generation to enhance MITRE Technique Mapping

📄 arXiv: 2507.16852v1 📥 PDF

作者: Álvaro Ruiz-Ródenas, Jaime Pujante Sáez, Daniel García-Algora, Mario Rodríguez Béjar, Jorge Blasco, José Luis Hernández-Ramos

分类: cs.CR, cs.AI, cs.LG

发布日期: 2025-07-21

备注: 17 pages, 13 figures

💡 一句话要点

提出SynthCTI以解决CTI数据稀缺与不平衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络威胁情报 数据增强 MITRE ATT&CK 大型语言模型 聚类策略 合成数据生成 机器学习

📋 核心要点

  1. 现有CTI挖掘方法依赖于手动映射，面临高质量标注数据稀缺和类别不平衡的挑战。
  2. SynthCTI框架通过聚类策略生成合成CTI句子，增强代表性不足的MITRE ATT&CK技术的数据量。
  3. 实验结果显示，合成数据的引入使得模型性能显著提升，ALBERT的F1分数从0.35提升至0.52，SecureBERT从0.4412提升至0.6558。

📝 摘要（中文）

网络威胁情报（CTI）挖掘涉及从非结构化威胁数据中提取结构化见解，以帮助组织理解和应对不断变化的对手行为。CTI挖掘中的关键任务是将威胁描述映射到MITRE ATT&CK技术。然而，这一过程通常需要专家知识和大量努力，现有的自动化方法面临高质量标注CTI数据稀缺和类别不平衡的挑战。本文提出SynthCTI，一个数据增强框架，旨在为代表性不足的MITRE ATT&CK技术生成高质量的合成CTI句子。通过聚类策略提取语义上下文，指导大型语言模型（LLM）生成多样且语义准确的合成CTI句子。实验结果表明，合成数据的引入显著提高了模型性能。

🔬 方法详解

问题定义：本文旨在解决CTI挖掘中威胁描述与MITRE ATT&CK技术映射的困难，现有方法依赖于专家手动映射，导致效率低下且数据稀缺。

核心思路：SynthCTI通过数据增强生成合成CTI句子，特别针对那些样本稀缺的MITRE ATT&CK技术，利用聚类策略提取语义上下文，指导LLM生成多样化且语义准确的句子。

技术框架：该框架主要包括数据聚类、合成句子生成和模型训练三个阶段。首先，通过聚类分析提取训练数据的语义特征，然后利用LLM生成合成CTI句子，最后将合成数据与原始数据结合，训练分类模型。

关键创新：SynthCTI的创新在于其聚类策略与LLM结合的方式，能够有效生成高质量的合成数据，克服了传统方法在数据稀缺和类别不平衡方面的局限。

关键设计：在模型训练中，采用了特定的损失函数以平衡合成数据与真实数据的影响，同时在LLM的选择上，使用了不同容量的模型进行对比实验，以验证合成数据的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用SynthCTI生成的合成数据显著提升了模型性能，ALBERT的F1分数从0.35提升至0.52，提升幅度达到48.6%；SecureBERT的F1分数从0.4412提升至0.6558，展示了合成数据在CTI分类系统中的重要价值。

🎯 应用场景

该研究的潜在应用领域包括网络安全、威胁检测和响应等。通过提高CTI数据的质量和数量，SynthCTI能够帮助组织更有效地识别和应对网络威胁，提升整体安全防护能力。未来，该方法还可扩展至其他领域的数据增强任务，具有广泛的应用前景。

📄 摘要（原文）

Cyber Threat Intelligence (CTI) mining involves extracting structured insights from unstructured threat data, enabling organizations to understand and respond to evolving adversarial behavior. A key task in CTI mining is mapping threat descriptions to MITRE ATT\&CK techniques. However, this process is often performed manually, requiring expert knowledge and substantial effort. Automated approaches face two major challenges: the scarcity of high-quality labeled CTI data and class imbalance, where many techniques have very few examples. While domain-specific Large Language Models (LLMs) such as SecureBERT have shown improved performance, most recent work focuses on model architecture rather than addressing the data limitations. In this work, we present SynthCTI, a data augmentation framework designed to generate high-quality synthetic CTI sentences for underrepresented MITRE ATT\&CK techniques. Our method uses a clustering-based strategy to extract semantic context from training data and guide an LLM in producing synthetic CTI sentences that are lexically diverse and semantically faithful. We evaluate SynthCTI on two publicly available CTI datasets, CTI-to-MITRE and TRAM, using LLMs with different capacity. Incorporating synthetic data leads to consistent macro-F1 improvements: for example, ALBERT improves from 0.35 to 0.52 (a relative gain of 48.6\%), and SecureBERT reaches 0.6558 (up from 0.4412). Notably, smaller models augmented with SynthCTI outperform larger models trained without augmentation, demonstrating the value of data generation methods for building efficient and effective CTI classification systems.