Breaking Event Rumor Detection via Stance-Separated Multi-Agent Debate

📄 arXiv: 2412.04859v1 📥 PDF

作者: Mingqing Zhang, Haisong Gong, Qiang Liu, Shu Wu, Liang Wang

分类: cs.CL, cs.MA

发布日期: 2024-12-06

💡 一句话要点

提出S2MAD以解决社交媒体谣言检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 谣言检测 社交媒体 多代理系统 立场分离 大型语言模型 信息传播 舆情分析

📋 核心要点

  1. 现有方法在突发事件谣言检测中面临标注资源不足和多样性不足的挑战。
  2. 提出的S2MAD方法通过立场分离和多轮辩论来生成多样化的观点，从而提高谣言检测的准确性。
  3. 实验结果表明，S2MAD在两个真实数据集上显著优于现有方法，提升了LLMs的性能。

📝 摘要（中文）

在突发事件中，社交媒体上谣言的迅速传播严重阻碍了真相的传播。现有研究表明，缺乏标注资源限制了对未被报道的突发事件的直接检测。利用大型语言模型（LLMs）进行谣言检测具有重要潜力，但由于多样性不足，LLMs在复杂或有争议的问题上提供全面响应的能力受到挑战。本文提出了立场分离的多代理辩论（S2MAD）方法，首先通过立场分离将评论分类为支持或反对原始主张，然后将主张分类为主观或客观，允许代理根据不同的提示策略生成合理的初始观点。辩论者通过多轮辩论达成共识，若未达成共识，则由评判代理评估意见并给出最终裁决。大量实验表明，所提模型在性能上超越了现有最先进的方法，有效提升了LLMs在突发事件谣言检测中的表现。

🔬 方法详解

问题定义：本文旨在解决社交媒体上突发事件谣言检测中的信息多样性不足和标注资源匮乏的问题。现有方法往往无法有效处理复杂或有争议的事件，导致检测效果不佳。

核心思路：论文提出的S2MAD方法通过立场分离将评论分为支持和反对两类，并根据主张的主观性或客观性生成不同的初始观点。这种设计旨在提高生成观点的多样性和准确性，从而增强谣言检测的效果。

技术框架：S2MAD的整体架构包括立场分离、观点生成、辩论过程和最终裁决四个主要模块。首先，评论被分类为支持或反对，然后根据主张类型生成初始观点，接着通过多轮辩论达成共识，最后由评判代理给出最终判断。

关键创新：最重要的创新点在于立场分离和多代理辩论机制的结合。与现有方法相比，S2MAD能够更好地处理复杂的社交媒体评论，提供更全面的观点分析。

关键设计：在模型设计中，采用了特定的提示策略来引导代理生成观点，并通过多轮辩论机制确保观点的多样性和深度。此外，评判代理的设计使得最终裁决更加客观和准确。

🖼️ 关键图片

img_0

📊 实验亮点

在两个真实数据集上的实验结果显示，S2MAD模型在谣言检测任务中显著超越了现有最先进的方法，性能提升幅度达到XX%（具体数据待补充），有效提高了大型语言模型在处理突发事件谣言时的准确性和可靠性。

🎯 应用场景

该研究在社交媒体谣言检测、信息传播和舆情分析等领域具有广泛的应用潜力。通过提高谣言检测的准确性，能够有效减少虚假信息的传播，促进社会信息的真实传播，具有重要的社会价值和实际意义。未来，该方法还可扩展到其他领域，如金融市场监测和公共安全事件分析等。

📄 摘要（原文）

The rapid spread of rumors on social media platforms during breaking events severely hinders the dissemination of the truth. Previous studies reveal that the lack of annotated resources hinders the direct detection of unforeseen breaking events not covered in yesterday's news. Leveraging large language models (LLMs) for rumor detection holds significant promise. However, it is challenging for LLMs to provide comprehensive responses to complex or controversial issues due to limited diversity. In this work, we propose the Stance Separated Multi-Agent Debate (S2MAD) to address this issue. Specifically, we firstly introduce Stance Separation, categorizing comments as either supporting or opposing the original claim. Subsequently, claims are classified as subjective or objective, enabling agents to generate reasonable initial viewpoints with different prompt strategies for each type of claim. Debaters then follow specific instructions through multiple rounds of debate to reach a consensus. If a consensus is not reached, a judge agent evaluates the opinions and delivers a final verdict on the claim's veracity. Extensive experiments conducted on two real-world datasets demonstrate that our proposed model outperforms state-of-the-art methods in terms of performance and effectively improves the performance of LLMs in breaking event rumor detection.