SLURG: Investigating the Feasibility of Generating Synthetic Online Fallacious Discourse

📄 arXiv: 2504.12466v1 📥 PDF

作者: Cal Blanco, Gavin Dsouza, Hugo Lin, Chelsey Rush

分类: cs.CL

发布日期: 2025-04-16

备注: 15 pages, 11 figures

💡 一句话要点

SLURG：探索利用大型语言模型生成合成在线谬误言论的可行性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 谬误检测 大型语言模型 合成数据生成 在线论坛 提示工程

📋 核心要点

  1. 现有谬误检测数据集主要集中于正式语言领域，缺乏对在线论坛中非标准化语言的覆盖。
  2. SLURG旨在探索利用大型语言模型生成合成的、具有谬误的论坛式评论，以弥补现有数据集的不足。
  3. 实验表明，大型语言模型能够复制真实数据的句法模式，并且通过优化提示可以提升词汇多样性。

📝 摘要（中文）

本文探讨了谬误的定义及其在社交媒体上自动检测操纵行为中的应用。特别地，我们研究了这些逻辑谬误在真实世界（即互联网论坛）中可能出现的形态。我们发现在围绕乌克兰-俄罗斯冲突的讨论区中，普遍存在错误信息/误导意图，这缩小了我们任务的领域。虽然自动谬误检测最近受到关注，但大多数数据集使用不受管制的谬误分类法，或者仅限于政治辩论或新闻报道等正式语言领域。然而，在线讨论通常包含这些领域未涵盖的非标准化和多样化语言。我们提出了Shady Linguistic Utterance Replication-Generation (SLURG)，以解决这些限制，探索使用大型语言模型（LLM），特别是DeepHermes-3-Mistral-24B，生成合成的论坛式谬误评论的可行性。我们的研究结果表明，LLM可以复制真实数据的句法模式，并且高质量的少量样本提示可以增强LLM模仿在线论坛词汇多样性的能力。

🔬 方法详解

问题定义：现有谬误检测数据集主要集中于政治辩论、新闻报道等正式语言领域，缺乏对在线论坛等非正式语境下谬误言论的覆盖。这些在线讨论往往包含非标准化的语言和多样化的表达方式，使得现有方法难以有效检测。因此，该论文旨在探索生成具有在线论坛风格的合成谬误言论，以扩充训练数据，提升谬误检测模型的泛化能力。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的生成能力，通过合适的提示工程，使其能够模仿在线论坛中谬误言论的句法模式和词汇多样性。通过生成大量的合成数据，可以有效缓解现有数据集的不足，并提升谬误检测模型在真实在线环境中的性能。

技术框架：该研究提出了Shady Linguistic Utterance Replication-Generation (SLURG) 框架，主要包含以下几个阶段：1) 数据收集：收集真实在线论坛中关于特定主题（如乌克兰-俄罗斯冲突）的讨论数据。2) 谬误类型分析：分析收集到的数据，确定常见的谬误类型和表达方式。3) 提示工程：设计高质量的少量样本提示，引导LLM生成具有特定谬误类型的论坛式评论。4) 模型生成：使用LLM（如DeepHermes-3-Mistral-24B）生成合成数据。5) 评估：评估生成数据的质量，包括句法相似性和词汇多样性。

关键创新：该论文的关键创新在于探索了利用LLM生成合成谬误言论的可行性，并提出了SLURG框架。与以往依赖人工标注或规则生成的方法不同，该方法能够自动生成具有多样性和真实感的谬误数据，从而有效扩充训练数据集。此外，该研究还强调了提示工程的重要性，通过设计高质量的提示，可以显著提升LLM生成数据的质量。

关键设计：在提示工程方面，论文采用了少量样本学习（few-shot learning）的方法，即提供少量真实论坛评论作为示例，引导LLM生成类似风格的评论。此外，论文还探索了不同的提示策略，例如使用不同的谬误类型描述和关键词，以控制生成数据的谬误类型和内容。在模型选择方面，论文选择了DeepHermes-3-Mistral-24B，因为它具有强大的生成能力和对上下文的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大型语言模型能够有效地复制真实数据的句法模式，并且通过高质量的少量样本提示，可以显著提升模型模仿在线论坛词汇多样性的能力。这表明利用LLM生成合成谬误言论是可行的，并且具有很大的潜力。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核、舆情监控和虚假信息检测等领域。通过训练能够识别和检测在线谬误言论的模型，可以有效减少错误信息的传播，维护健康的在线讨论环境。此外，该方法还可以用于生成对抗样本，提升现有谬误检测模型的鲁棒性。

📄 摘要（原文）

In our paper we explore the definition, and extrapolation of fallacies as they pertain to the automatic detection of manipulation on social media. In particular we explore how these logical fallacies might appear in the real world i.e internet forums. We discovered a prevalence of misinformation / misguided intention in discussion boards specifically centered around the Ukrainian Russian Conflict which serves to narrow the domain of our task. Although automatic fallacy detection has gained attention recently, most datasets use unregulated fallacy taxonomies or are limited to formal linguistic domains like political debates or news reports. Online discourse, however, often features non-standardized and diverse language not captured in these domains. We present Shady Linguistic Utterance Replication-Generation (SLURG) to address these limitations, exploring the feasibility of generating synthetic fallacious forum-style comments using large language models (LLMs), specifically DeepHermes-3-Mistral-24B. Our findings indicate that LLMs can replicate the syntactic patterns of real data} and that high-quality few-shot prompts enhance LLMs' ability to mimic the vocabulary diversity of online forums.