Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models

📄 arXiv: 2502.15155v1 📥 PDF

作者: Sarthak Mahajan, Nimmi Rangaswamy

分类: cs.CL, cs.AI

发布日期: 2025-02-21

备注: Accepted to 7th International Conference on information systems and management science (ISMS), 2024

💡 一句话要点

利用LLM进行极端言论分类：探索开源与闭源模型的性能差异与微调策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 极端言论分类 大型语言模型 LLM 微调 自然语言处理

📋 核心要点

  1. 现有语言模型难以准确分类不同类型的极端言论，需要深入理解社会文化背景，人工审核成本高昂且难以扩展。
  2. 利用大型语言模型（LLM）捕获和编码上下文信息的能力，构建有效的极端言论分类框架，探索开源与闭源LLM的性能。
  3. 实验表明，领域数据微调能显著提升LLM在极端言论分类任务中的性能，微调后GPT模型与Llama模型的性能差距消失。

📝 摘要（中文）

近年来，互联网的普及和社交媒体用户群的增长导致了网络极端言论的激增。虽然传统语言模型在区分中性文本和非中性文本（即极端言论）方面表现出一定的能力，但对不同类型的极端言论进行分类仍然面临重大挑战。极端言论分类任务非常微妙，需要对社会文化背景有深刻的理解，才能准确解释说话者的意图。即使是人工标注者也常常对这类内容的适当分类存在分歧，突显了这项任务的复杂性和主观性。人工审核也存在扩展性问题，因此需要自动化的极端言论分类系统。最近ChatGPT的推出引起了全球对大型语言模型（LLM）在各种任务中潜在应用的关注。LLM经过大量多样化语料库的训练，并展示了有效捕获和编码上下文信息的能力，因此成为解决极端言论分类这一特定任务的极具前景的工具。本文利用Maronikolakis等人（2022）的极端言论数据集的印度子集，开发了一个使用LLM的有效分类框架。我们评估了开源Llama模型与闭源OpenAI模型，发现虽然预训练的LLM显示出适度的功效，但使用特定领域数据进行微调可以显著提高性能，突显了它们对语言和上下文细微差别的适应性。虽然基于GPT的模型在零样本设置中优于Llama模型，但在微调后，性能差距消失。

🔬 方法详解

问题定义：论文旨在解决极端言论分类问题，现有方法主要依赖于传统语言模型，难以准确区分不同类型的极端言论，并且人工审核成本高昂，无法有效扩展。现有方法的痛点在于缺乏对社会文化背景的深入理解，导致分类结果主观性强，一致性低。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的上下文理解能力，通过在特定领域数据上进行微调，提升LLM在极端言论分类任务中的性能。通过比较开源Llama模型和闭源OpenAI模型，探索不同LLM在极端言论分类任务中的优劣势。

技术框架：论文的技术框架主要包括数据准备、模型选择、微调和评估四个阶段。首先，使用Maronikolakis等人（2022）的极端言论数据集的印度子集作为实验数据。然后，选择开源Llama模型和闭源OpenAI模型作为基线模型。接着，使用特定领域数据对这些模型进行微调。最后，使用标准评估指标评估微调后模型的性能。

关键创新：论文的关键创新在于探索了LLM在极端言论分类任务中的应用潜力，并验证了通过领域数据微调可以显著提升LLM的性能。此外，论文还比较了开源和闭源LLM在极端言论分类任务中的性能差异，为实际应用提供了参考。

关键设计：论文的关键设计包括选择合适的微调策略、设计有效的评估指标以及选择具有代表性的数据集。具体的参数设置和损失函数等技术细节在论文中未明确说明，属于未知信息。

📊 实验亮点

实验结果表明，预训练的LLM在极端言论分类任务中表现出适度的功效，而使用特定领域数据进行微调可以显著提高性能。在零样本设置中，GPT模型优于Llama模型，但经过微调后，两者的性能差距消失。具体性能数据和提升幅度在摘要中未给出，属于未知信息。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核、在线社区管理、以及舆情监控等领域。通过自动化识别和分类极端言论，可以有效减少有害信息的传播，维护健康的在线环境，并为社会安全提供预警。

📄 摘要（原文）

In recent years, widespread internet adoption and the growth in userbase of various social media platforms have led to an increase in the proliferation of extreme speech online. While traditional language models have demonstrated proficiency in distinguishing between neutral text and non-neutral text (i.e. extreme speech), categorizing the diverse types of extreme speech presents significant challenges. The task of extreme speech classification is particularly nuanced, as it requires a deep understanding of socio-cultural contexts to accurately interpret the intent of the language used by the speaker. Even human annotators often disagree on the appropriate classification of such content, emphasizing the complex and subjective nature of this task. The use of human moderators also presents a scaling issue, necessitating the need for automated systems for extreme speech classification. The recent launch of ChatGPT has drawn global attention to the potential applications of Large Language Models (LLMs) across a diverse variety of tasks. Trained on vast and diverse corpora, and demonstrating the ability to effectively capture and encode contextual information, LLMs emerge as highly promising tools for tackling this specific task of extreme speech classification. In this paper, we leverage the Indian subset of the extreme speech dataset from Maronikolakis et al. (2022) to develop an effective classification framework using LLMs. We evaluate open-source Llama models against closed-source OpenAI models, finding that while pre-trained LLMs show moderate efficacy, fine-tuning with domain-specific data significantly enhances performance, highlighting their adaptability to linguistic and contextual nuances. Although GPT-based models outperform Llama models in zero-shot settings, the performance gap disappears after fine-tuning.