Are Large Language Models Good at Detecting Propaganda?

📄 arXiv: 2505.13706v1 📥 PDF

作者: Julia Jose, Rachel Greenstadt

分类: cs.CL, cs.AI

发布日期: 2025-05-19

期刊: Workshop Proceedings of the 18th International AAAI Conference on Web and Social Media (5th International Workshop on Cyber Social Threats, CySoc 2024). AAAI Press

DOI: 10.36190/2024.06

💡 一句话要点

评估大型语言模型在新闻宣传检测中的能力，结果表明其性能未超越RoBERTa-CRF基线。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 宣传检测 自然语言处理 Transformer模型 RoBERTa-CRF

📋 核心要点

  1. 现有方法难以有效识别新闻宣传中使用的逻辑谬误和情感诉求等复杂修辞手法。
  2. 本研究探索了大型语言模型（LLM）在检测新闻文章中宣传技巧方面的能力，评估其性能。
  3. 实验结果表明，GPT-4在宣传检测任务上的F1分数低于RoBERTa-CRF基线，但在某些特定技巧上优于MGN。

📝 摘要（中文）

宣传者利用逻辑谬误和情感诉求等修辞手法来推进其议程。识别这些技巧对于做出明智的决策至关重要。自然语言处理（NLP）的最新进展使得开发能够检测操纵性内容的系统成为可能。本研究考察了几种大型语言模型（LLM）在检测新闻文章中宣传技巧方面的表现。我们将这些LLM的性能与基于Transformer的模型进行了比较。结果表明，虽然GPT-4表现出优于GPT-3.5和Claude 3 Opus的F1分数（F1=0.16），但它并未超过RoBERTa-CRF基线（F1=0.67）。此外，我们发现所有三个LLM在检测六种宣传技巧中的一种（人身攻击）的实例时，都优于MultiGranularity Network（MGN）基线，GPT-3.5和GPT-4在检测诉诸恐惧和挥舞旗帜的实例时也优于MGN基线。

🔬 方法详解

问题定义：该论文旨在评估大型语言模型（LLM）在检测新闻文章中宣传技巧方面的能力。现有方法，如传统机器学习模型，在理解和识别复杂的修辞手法方面存在局限性，难以有效应对宣传内容的多样性和隐蔽性。

核心思路：论文的核心思路是将大型语言模型应用于宣传检测任务，并将其性能与传统的基于Transformer的模型（如RoBERTa-CRF）以及MultiGranularity Network (MGN) 进行比较。通过对比不同模型的性能，评估LLM在理解和识别宣传技巧方面的优势和不足。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择多个大型语言模型（如GPT-4, GPT-3.5, Claude 3 Opus）作为实验对象；2) 使用包含标注了宣传技巧的新闻文章数据集对模型进行评估；3) 将LLM的性能与RoBERTa-CRF和MGN等基线模型进行比较；4) 针对不同的宣传技巧，分析LLM的检测效果。

关键创新：该研究的关键创新在于首次系统性地评估了多种大型语言模型在宣传检测任务中的性能。通过与传统模型的对比，揭示了LLM在处理此类任务时的优势和局限性，为未来研究提供了参考。

关键设计：实验中使用了标准的新闻宣传数据集，并采用F1分数作为评估指标。针对不同的宣传技巧，分别计算了各个模型的F1分数，并进行了统计显著性检验。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

实验结果显示，GPT-4在宣传检测任务上的F1分数为0.16，虽然优于GPT-3.5和Claude 3 Opus，但远低于RoBERTa-CRF基线的0.67。在检测“人身攻击”这一宣传技巧时，所有三个LLM均优于MGN基线，GPT-3.5和GPT-4在检测“诉诸恐惧”和“挥舞旗帜”时也优于MGN基线。

🎯 应用场景

该研究成果可应用于新闻媒体、社交平台等领域，帮助识别和过滤虚假宣传信息，提高公众的媒介素养和信息辨别能力。未来，可以进一步研究如何利用LLM生成对抗性样本，提升宣传检测模型的鲁棒性。

📄 摘要（原文）

Propagandists use rhetorical devices that rely on logical fallacies and emotional appeals to advance their agendas. Recognizing these techniques is key to making informed decisions. Recent advances in Natural Language Processing (NLP) have enabled the development of systems capable of detecting manipulative content. In this study, we look at several Large Language Models and their performance in detecting propaganda techniques in news articles. We compare the performance of these LLMs with transformer-based models. We find that, while GPT-4 demonstrates superior F1 scores (F1=0.16) compared to GPT-3.5 and Claude 3 Opus, it does not outperform a RoBERTa-CRF baseline (F1=0.67). Additionally, we find that all three LLMs outperform a MultiGranularity Network (MGN) baseline in detecting instances of one out of six propaganda techniques (name-calling), with GPT-3.5 and GPT-4 also outperforming the MGN baseline in detecting instances of appeal to fear and flag-waving.