Assessing Text Classification Methods for Cyberbullying Detection on Social Media Platforms

📄 arXiv: 2412.19928v1 📥 PDF

作者: Adamu Gaston Philipo, Doreen Sebastian Sarwatt, Jianguo Ding, Mahmoud Daneshmand, Huansheng Ning

分类: cs.CL, cs.SI

发布日期: 2024-12-27

备注: 15 pages, 10 figures, 7 tables

💡 一句话要点

评估文本分类方法在社交媒体平台网络欺凌检测中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络欺凌检测 文本分类 预训练语言模型 BERT 社交媒体 性能评估 模型微调

📋 核心要点

  1. 现有网络欺凌检测系统在性能、数据集质量、时间效率和计算成本方面存在挑战，难以满足实时性需求。
  2. 本研究通过调整和评估现有文本分类技术，特别是大型语言模型，来解决网络欺凌检测问题。
  3. 实验结果表明，BERT模型在性能、时间效率和计算资源之间取得了较好的平衡，具有实际应用潜力。

📝 摘要（中文）

网络欺凌严重影响受害者的心理健康，是社区心理健康问题的重要因素。社交媒体平台上的网络欺凌问题日益严重，因此需要有效的实时检测和监控系统来识别有害信息。然而，当前的网络欺凌检测系统在性能、数据集质量、时间效率和计算成本方面面临挑战。本研究旨在通过调整和评估现有的文本分类技术在网络欺凌检测领域中的应用，进行一项比较研究。该研究特别评估了这些技术在识别社交媒体平台上的网络欺凌实例方面的有效性和性能。研究重点在于利用和评估大型语言模型，包括BERT、RoBERTa、XLNet、DistilBERT和GPT-2.0，以确定它们在该领域的适用性。结果表明，BERT在性能、时间效率和计算资源之间取得了平衡：准确率为95%，精确率为95%，召回率为95%，F1分数为95%，错误率为5%，推理时间为0.053秒，RAM使用量为35.28 MB，CPU/GPU使用率为0.4%，能耗为0.000263 kWh。研究结果表明，生成式AI模型虽然强大，但在测试基准上并未始终优于微调模型。然而，通过对现有模型进行战略性调整和微调，以适应特定的数据集和任务，仍然可以实现最先进的性能。

🔬 方法详解

问题定义：论文旨在解决社交媒体平台上网络欺凌信息难以有效检测的问题。现有方法在性能、数据集质量、时间效率和计算成本上存在不足，无法满足实时监控的需求。尤其是在大型社交媒体平台上，快速准确地识别欺凌信息至关重要。

核心思路：论文的核心思路是利用预训练语言模型（如BERT、RoBERTa等）强大的文本理解能力，通过微调这些模型，使其适应网络欺凌检测任务。通过比较不同模型的性能，找到在准确率、效率和资源消耗之间最佳的平衡点。

技术框架：整体流程包括：1) 数据收集与预处理；2) 选择预训练语言模型（BERT, RoBERTa, XLNet, DistilBERT, GPT-2.0）；3) 使用网络欺凌数据集对模型进行微调；4) 评估模型在测试集上的性能指标（准确率、精确率、召回率、F1分数、错误率、推理时间、资源消耗）。

关键创新：该研究的关键创新在于对多种主流预训练语言模型在网络欺凌检测任务上的性能进行了全面的比较分析，并评估了它们在实际应用中的可行性。此外，研究还强调了针对特定数据集和任务对现有模型进行战略性调整和微调的重要性。

关键设计：研究中关键的设计包括：1) 使用标准数据集进行模型训练和评估；2) 采用常用的文本分类评估指标；3) 详细记录并比较了不同模型的推理时间、内存占用、CPU/GPU使用率和能耗等指标，以便全面评估模型的实用性。

📊 实验亮点

实验结果表明，BERT模型在网络欺凌检测任务中表现出色，准确率、精确率、召回率和F1分数均达到95%。同时，BERT在推理时间（0.053秒）、内存占用（35.28 MB）和资源消耗（CPU/GPU使用率0.4%，能耗0.000263 kWh）方面也表现出较好的平衡性，使其成为实际应用中更具竞争力的选择。

🎯 应用场景

该研究成果可应用于社交媒体平台的实时网络欺凌检测系统，帮助平台快速识别和处理有害信息，从而改善用户体验，保护用户心理健康。此外，该方法也可扩展到其他文本分类任务，如垃圾邮件过滤、情感分析等，具有广泛的应用前景。

📄 摘要（原文）

Cyberbullying significantly contributes to mental health issues in communities by negatively impacting the psychology of victims. It is a prevalent problem on social media platforms, necessitating effective, real-time detection and monitoring systems to identify harmful messages. However, current cyberbullying detection systems face challenges related to performance, dataset quality, time efficiency, and computational costs. This research aims to conduct a comparative study by adapting and evaluating existing text classification techniques within the cyberbullying detection domain. The study specifically evaluates the effectiveness and performance of these techniques in identifying cyberbullying instances on social media platforms. It focuses on leveraging and assessing large language models, including BERT, RoBERTa, XLNet, DistilBERT, and GPT-2.0, for their suitability in this domain. The results show that BERT strikes a balance between performance, time efficiency, and computational resources: Accuracy of 95%, Precision of 95%, Recall of 95%, F1 Score of 95%, Error Rate of 5%, Inference Time of 0.053 seconds, RAM Usage of 35.28 MB, CPU/GPU Usage of 0.4%, and Energy Consumption of 0.000263 kWh. The findings demonstrate that generative AI models, while powerful, do not consistently outperform fine-tuned models on the tested benchmarks. However, state-of-the-art performance can still be achieved through strategic adaptation and fine-tuning of existing models for specific datasets and tasks.