Multi-Lingual Cyber Threat Detection in Tweets/X Using ML, DL, and LLM: A Comparative Analysis

📄 arXiv: 2502.04346v1 📥 PDF

作者: Saydul Akbar Murad, Ashim Dahal, Nick Rahimi

分类: cs.CL, cs.AI

发布日期: 2025-02-04

期刊: IEEE Trans. Comput. Soc. Syst., Early Access, pp. 1-15, Nov. 2025

DOI: 10.1109/TCSS.2025.3623021

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于Bi-LSTM的多语言网络威胁检测方法，提升社交媒体内容安全。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络威胁检测 多语言处理 Bi-LSTM 社交媒体安全 文本分类

📋 核心要点

  1. 现有推文威胁检测方法局限于特定语言和领域，缺乏对多语言环境的有效支持，难以应对复杂多变的现实场景。
  2. 本研究提出一种基于Bi-LSTM的多语言网络威胁检测方法，通过融合多种语言数据，提升模型在跨语言环境下的泛化能力。
  3. 实验结果表明，Bi-LSTM在多语言数据集上表现优异，超越了其他深度学习和大型语言模型，验证了其在多语言威胁检测中的有效性。

📝 摘要（中文）

由于虚假信息和有害内容在Twitter（现名'X'）等社交媒体平台上的日益传播，网络威胁检测已成为当今数字时代的一个重要焦点领域。这些网络威胁通常伪装在推文中，对个人、社区甚至国家构成重大风险，因此需要有效的检测系统。以往的研究虽然探索了基于推文的威胁，但大多局限于特定语言、领域或地点，或者依赖于单一模型方法，降低了它们在各种现实场景中的适用性。为了弥补这些差距，我们的研究侧重于使用各种先进模型进行多语言推文网络威胁检测。该研究分三个阶段进行：（1）我们收集并标记了英语、中文、俄语和阿拉伯语四种语言的推文数据集，采用人工和基于极性的标记方法，以确保高质量的注释。（2）使用机器学习（ML）和深度学习（DL）模型分别分析每个数据集，以评估它们在不同语言上的性能。（3）最后，我们将所有四个数据集组合成一个多语言数据集，并应用DL和大型语言模型（LLM）架构来评估它们在识别各种语言的网络威胁方面的有效性。我们的结果表明，在机器学习模型中，随机森林（RF）获得了最高的性能；然而，Bi-LSTM架构始终优于所有数据集中的其他DL和LLM架构。这些发现强调了Bi-LSTM在多语言网络威胁检测中的有效性。

🔬 方法详解

问题定义：本论文旨在解决社交媒体平台（如Twitter/X）上多语言网络威胁检测的问题。现有方法主要痛点在于：一是缺乏对多种语言的支持，二是依赖单一模型，难以适应不同语言的特性，导致检测准确率不高。

核心思路：论文的核心思路是利用Bi-LSTM模型强大的序列建模能力，学习不同语言中网络威胁的特征表示，从而实现跨语言的威胁检测。Bi-LSTM能够同时考虑上下文信息，更好地捕捉威胁相关的语义模式。

技术框架：整体框架包括三个阶段：数据收集与标注（包括人工和极性标注），单语言数据集的机器学习和深度学习模型训练与评估，以及多语言数据集的深度学习和大型语言模型训练与评估。最终比较不同模型在多语言环境下的性能。

关键创新：最重要的技术创新点在于将Bi-LSTM应用于多语言网络威胁检测，并验证了其优越性。与传统机器学习模型和其它深度学习模型相比，Bi-LSTM能够更好地捕捉不同语言中网络威胁的上下文语义信息。

关键设计：论文采用了Bi-LSTM作为核心模型，具体参数设置未知。损失函数和优化器选择未知。数据标注方法包括人工标注和基于极性的自动标注，以提高标注效率和质量。网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在多语言网络威胁检测任务中，Bi-LSTM模型表现最佳，超越了随机森林等传统机器学习模型以及其他深度学习和大型语言模型。虽然论文中没有给出具体的性能数据和提升幅度，但强调了Bi-LSTM在所有数据集上的一致优越性。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容安全监控，自动识别和过滤多语言网络威胁，保护用户免受虚假信息、恶意攻击和有害内容的侵害。该技术还有助于提升舆情分析的准确性，为政府和企业提供决策支持，并可扩展到其他多语言文本分类任务。

📄 摘要（原文）

Cyber threat detection has become an important area of focus in today's digital age due to the growing spread of fake information and harmful content on social media platforms such as Twitter (now 'X'). These cyber threats, often disguised within tweets, pose significant risks to individuals, communities, and even nations, emphasizing the need for effective detection systems. While previous research has explored tweet-based threats, much of the work is limited to specific languages, domains, or locations, or relies on single-model approaches, reducing their applicability to diverse real-world scenarios. To address these gaps, our study focuses on multi-lingual tweet cyber threat detection using a variety of advanced models. The research was conducted in three stages: (1) We collected and labeled tweet datasets in four languages English, Chinese, Russian, and Arabic employing both manual and polarity-based labeling methods to ensure high-quality annotations. (2) Each dataset was analyzed individually using machine learning (ML) and deep learning (DL) models to assess their performance on distinct languages. (3) Finally, we combined all four datasets into a single multi-lingual dataset and applied DL and large language model (LLM) architectures to evaluate their efficacy in identifying cyber threats across various languages. Our results show that among machine learning models, Random Forest (RF) attained the highest performance; however, the Bi-LSTM architecture consistently surpassed other DL and LLM architectures across all datasets. These findings underline the effectiveness of Bi-LSTM in multilingual cyber threat detection. The code for this paper can be found at this link: https://github.com/Mmurrad/Tweet-Data-Classification.git.