LLM-Based Weak Annotation for Cybersecurity Tweet Classification: A Teacher-Student Framework

📄 arXiv: 2610.21254v1 📥 PDF

作者: Ferry Afit Kurniawan, Kazushi Okamoto, Koki Karube, Kei Harada, Atsushi Shibata

分类: cs.CL

发布日期: 2026-10-15

期刊: Joint 14th International Conference on Soft Computing and Intelligent Systems and 27th International Symposium on Advanced Intelligent Systems (SCIS-ISIS 2026)

💡 一句话要点

提出教师-学生框架以解决网络安全推文分类中的标注瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 弱标注 大型语言模型 教师-学生框架 推文分类 预训练语言模型 威胁情报 社交媒体分析

📋 核心要点

  1. 现有方法在网络安全推文分类中面临标注数据不足的挑战，专家无法及时处理大量信息。
  2. 本文提出教师-学生弱监督框架，利用大型语言模型生成未标注推文的弱标签，减少人工标注需求。
  3. 实验结果显示，基于LLM生成标签训练的PLM F1分数超过0.92，接近完全人工监督模型，验证了方法的有效性。

📝 摘要（中文）

网络威胁情报（CTI）依赖于及时识别新兴威胁，社交媒体平台如X（前身为Twitter）成为重要的信息来源。然而，网络安全讨论的快速增长使得专家无法有效审阅和标注内容，导致标注数据成为开发监督学习方法的主要瓶颈。本文提出了一种教师-学生弱监督框架，利用选定的大型语言模型（LLM）为未标注的网络安全推文生成弱标签，从而在缺乏大规模人工标注的情况下训练网络安全特定的预训练语言模型（PLM）。实验结果表明，仅基于LLM生成的标签训练的PLM在所有评估架构中F1分数均超过0.92，与完全人工监督模型的差距不超过3个百分点。这表明LLM基础的弱标注为在专家标注资源有限时构建网络安全特定训练数据提供了切实可行的替代方案。

🔬 方法详解

问题定义：本文旨在解决网络安全推文分类中的标注数据不足问题，现有方法依赖于人工标注，难以满足快速增长的信息需求。

核心思路：提出教师-学生框架，利用大型语言模型（LLM）作为教师，为未标注的推文生成弱标签，从而实现无须大规模人工标注的训练。

技术框架：整体架构包括两个主要模块：教师模型（LLM）和学生模型（PLM）。教师模型负责生成弱标签，学生模型则利用这些标签进行训练。

关键创新：最重要的创新在于将LLM应用于网络安全领域的弱标注，显著降低了对人工标注的依赖，提升了数据标注的效率。

关键设计：在模型训练中，采用特定的损失函数来优化学生模型的学习过程，确保生成的弱标签能够有效指导PLM的训练。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，基于LLM生成的标签训练的PLM在F1分数上均超过0.92，且与完全人工监督模型的差距不超过3个百分点。这表明该方法在网络安全推文分类中具有良好的实用性和有效性，提供了一个高效的标注替代方案。

🎯 应用场景

该研究的潜在应用领域包括网络安全监控、社交媒体分析和威胁情报收集。通过提高网络安全推文的分类效率，能够帮助组织及时识别和响应新兴威胁，增强整体安全态势感知能力。未来，该方法可能在其他领域的弱标注任务中得到推广，进一步推动自动化标注技术的发展。

📄 摘要（原文）

Cyber threat intelligence (CTI) relies on the timely identification of emerging threats, enabling organizations and security analysts to support situational awareness and decision-making. Social media platforms such as X (formerly Twitter) have become valuable CTI sources because vulnerabilities and attack activities are often discussed there before appearing in formal reports. However, the rapid growth of cybersecurity discussions on social media has created more content than domain experts can realistically review and annotate, making labeled data a major bottleneck for developing supervised learning approaches. While large language models (LLMs) have shown promise as weak annotators in other domains, their effectiveness for cybersecurity tweet classification and downstream training of domain-specific pre-trained language models (PLMs) remains underexplored. To address this challenge, we propose a Teacher-Student weak supervision framework in which a selected LLM serves as a Teacher to generate weak labels for unlabeled cybersecurity tweets, enabling the training of cybersecurity-specific PLMs without large-scale manual annotation. Experimental results show that PLMs trained solely on LLM-generated labels consistently achieve F1 scores above 0.92, remaining within 3 percentage points of fully human-supervised models across all evaluated architectures. These findings suggest that LLM-based weak annotation offers a practical alternative for constructing cybersecurity-specific training data when expert annotation resources are limited.