Unmasking Propaganda: A Comparative Analysis of Masked and Causal Language Models
作者: Claudiu Creanga, Ioachim Lihor, Liviu P. Dinu
分类: cs.CL
发布日期: 2026-10-02
💡 一句话要点
通过比较分析语言模型提升宣传检测能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 宣传检测 自然语言处理 语言模型 掩蔽模型 因果模型 数据集 性能评估
📋 核心要点
- 现有方法在识别宣传技术时面临挑战，因其微妙性和上下文依赖性使得与合法说服语言的区分变得困难。
- 论文通过比较分析掩蔽语言模型和因果模型，提出了两种提示策略以提升宣传检测的准确性。
- 实验结果表明，最佳模型在技术分类中达到了63.18和63.62的F1分数，显示出显著的性能提升。
📝 摘要（中文）
宣传检测是自然语言处理中的一项重要任务，尤其是在操控性政治传播的背景下。然而，由于宣传技术的微妙性和对上下文的依赖，识别这些技术面临重大挑战。本文通过对现代语言模型的比较分析，探讨了在SemEval-2020任务11数据集上检测宣传技术的进展。我们评估了基于XLM-RoBERTa和DeBERTa V3的掩蔽语言模型以及来自OpenAI、Google、Mistral、Anthropic和Meta的因果模型，采用了基础和思维链两种提示策略。结果显示，最佳掩蔽模型在技术分类中达到了63.18的F1分数，最佳因果模型则达到了63.62。某些模型在特定技术上表现优异，而在其他技术上则表现不佳，这表明微调、集成建模和使用更大数据集可以进一步提升宣传检测能力。
🔬 方法详解
问题定义：本论文旨在解决宣传检测中的具体问题，尤其是如何有效识别微妙的宣传技术。现有方法在处理这些技术时常常面临上下文依赖和细微差别的挑战。
核心思路：论文的核心思路是通过比较掩蔽语言模型和因果语言模型，利用不同的提示策略来提高对宣传技术的检测能力。这样的设计旨在充分利用现代语言模型的特性，以便更好地捕捉宣传语言的细微差异。
技术框架：整体架构包括数据预处理、模型选择、提示策略应用和性能评估四个主要模块。首先，使用SemEval-2020任务11数据集进行训练和测试，然后评估不同模型在宣传技术分类上的表现。
关键创新：最重要的技术创新在于通过对比不同类型的语言模型及其提示策略，揭示了各模型在特定宣传技术上的表现差异。这种方法与传统的单一模型评估方法有本质区别。
关键设计：在模型选择上，采用了XLM-RoBERTa和DeBERTa V3作为掩蔽语言模型，因果模型则来自多个前沿研究机构。提示策略方面，使用了基础提示和思维链提示，以增强模型的推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳掩蔽语言模型在技术分类中达到了63.18的F1分数，而最佳因果模型则达到了63.62，均显著优于现有的最先进模型。这表明通过不同模型和提示策略的结合，能够有效提升宣传检测的性能。
🎯 应用场景
该研究的潜在应用领域包括政治传播分析、社交媒体内容监测和舆情管理等。通过提升宣传检测能力，能够更有效地识别和应对操控性信息，从而促进信息透明度和公众意识的提升。未来，该技术可能在自动化内容审核和舆论引导中发挥重要作用。
📄 摘要（原文）
Propaganda detection is an essential task in natural language processing (NLP), particularly in the context of manipulative political communications. However, identifying specific propaganda techniques presents a significant challenge due to their often subtle nature and reliance on context, making them difficult to distinguish from legitimate persuasive language. Propaganda often involves highlighting certain facts while downplaying or ignoring others to create a desired perception. This biased communication aims to influence attitudes, beliefs, or behaviors towards a particular cause or position. This paper explores advances in detecting propaganda techniques through a comparative analysis of modern language models, using the SemEval-2020 Task 11 dataset. We evaluated both masked language models (based on XLM-RoBERTa or DeBERTa V3) and causal models (from OpenAI, Google, Mistral, Anthropic and Meta), employing two prompting strategies: base and chain-of-thought prompting. Our results demonstrate improvements over state-of-the-art models, with the best-performing MLM achieving an F1 score of 63.18 in technique classification and the best causal model achieving 63.62. We also observed that certain models excel in specific techniques, such as loaded language and name-calling, while struggling with others like bandwagon and black-and-white fallacy. These findings suggest that fine-tuning, ensemble modeling, and the use of larger datasets can further enhance propaganda detection capabilities.