Generative Debunking of Climate Misinformation

📄 arXiv: 2407.05599v1 📥 PDF

作者: Francisco Zanartu, Yulia Otmakhova, John Cook, Lea Frermann

分类: cs.CL, cs.CY

发布日期: 2024-07-08

备注: Accepter to ClimateNLP 2024 workshop at ACL 2024

💡 一句话要点

提出一种基于大语言模型的框架，自动生成符合“真理三明治”结构的 climate change 错误信息辟谣内容。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 气候变化 错误信息 辟谣 大型语言模型 真理三明治 提示工程 谬误检测

📋 核心要点

  1. 气候变化错误信息广泛传播，现有纠正措施难以大规模应用，亟需自动化解决方案。
  2. 利用大语言模型，结合反驳声明分类和谬误检测，生成符合“真理三明治”结构的辟谣内容。
  3. 实验表明，GPT-4和Mixtral模型在结构化提示下表现出良好的辟谣生成能力，并发布相关数据集。

📝 摘要（中文）

关于气候变化的错误信息会造成诸多负面影响，因此需要采取纠正措施。心理学研究已经提出了多种策略来减少气候错误信息的影响，例如“事实-谬误-谬误解释-事实”结构（即“真理三明治”）。然而，大规模地实际应用这些纠正干预措施仍然是一个挑战。自动检测和纠正错误信息为解决这一问题提供了一种方案。本研究记录了开发大型语言模型的过程，该模型以气候谬误作为输入，并生成符合“真理三明治”结构的辟谣内容，通过将反驳性声明分类和谬误检测纳入LLM提示框架中实现。我们结合了开放模型（Mixtral、Palm2）和专有模型（GPT-4），并采用了不同复杂程度的提示策略。实验表明，GPT-4和Mixtral在与结构化提示结合使用时表现出良好的性能。我们识别了辟谣生成和人工评估方面的具体挑战，并规划了未来的工作方向。我们发布了一个高质量的“真理三明治”辟谣数据集、源代码以及辟谣系统的演示。

🔬 方法详解

问题定义：论文旨在解决气候变化错误信息难以有效纠正的问题。现有方法，如心理学研究提出的“真理三明治”结构，虽然有效，但依赖人工干预，难以大规模应用。因此，需要一种自动化的方法来生成高质量的辟谣内容，从而更有效地对抗气候变化错误信息。

核心思路：论文的核心思路是利用大型语言模型（LLM）的生成能力，结合结构化的提示工程，使其能够自动生成符合“真理三明治”结构的辟谣内容。通过将反驳性声明分类和谬误检测融入LLM的提示框架，引导LLM生成更准确、更具说服力的辟谣信息。

技术框架：整体框架包含以下几个主要模块：1) 输入气候谬误信息；2) 利用反驳性声明分类器识别谬误中的关键声明；3) 利用谬误检测器识别谬误类型；4) 结合“真理三明治”结构和分类、检测结果，设计结构化提示；5) 将提示输入LLM（如GPT-4、Mixtral、Palm2）生成辟谣内容；6) 人工评估生成的辟谣内容的质量。

关键创新：论文的关键创新在于将反驳性声明分类和谬误检测融入到LLM的提示框架中，从而引导LLM生成更符合逻辑、更具针对性的辟谣内容。这种方法不仅提高了辟谣内容的质量，也使得自动化生成辟谣内容成为可能。此外，论文还构建了一个高质量的“真理三明治”辟谣数据集，为后续研究提供了宝贵资源。

关键设计：论文采用了不同复杂程度的提示策略，包括简单的提示和结构化的提示。结构化提示的关键在于明确指定LLM需要遵循的“真理三明治”结构，并提供反驳性声明分类和谬误检测的结果作为上下文信息。具体的参数设置和网络结构取决于所使用的LLM，论文主要关注如何通过提示工程来引导LLM生成高质量的辟谣内容。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，GPT-4和Mixtral模型在结合结构化提示的情况下，能够生成高质量的“真理三明治”结构的辟谣内容。虽然论文没有给出具体的量化指标，但强调了结构化提示的重要性，并发布了高质量的辟谣数据集，为后续研究提供了基准和资源。

🎯 应用场景

该研究成果可应用于自动化气候变化错误信息辟谣系统，帮助公众识别和抵制虚假信息，提升气候变化科学认知的普及程度。该技术还可扩展到其他领域的错误信息对抗，例如健康、政治等，具有广泛的应用前景和重要的社会价值。

📄 摘要（原文）

Misinformation about climate change causes numerous negative impacts, necessitating corrective responses. Psychological research has offered various strategies for reducing the influence of climate misinformation, such as the fact-myth-fallacy-fact-structure. However, practically implementing corrective interventions at scale represents a challenge. Automatic detection and correction of misinformation offers a solution to the misinformation problem. This study documents the development of large language models that accept as input a climate myth and produce a debunking that adheres to the fact-myth-fallacy-fact (``truth sandwich'') structure, by incorporating contrarian claim classification and fallacy detection into an LLM prompting framework. We combine open (Mixtral, Palm2) and proprietary (GPT-4) LLMs with prompting strategies of varying complexity. Experiments reveal promising performance of GPT-4 and Mixtral if combined with structured prompts. We identify specific challenges of debunking generation and human evaluation, and map out avenues for future work. We release a dataset of high-quality truth-sandwich debunkings, source code and a demo of the debunking system.