Debating Truth: Debate-driven Claim Verification with Multiple Large Language Model Agents

📄 arXiv: 2507.19090 📥 PDF

作者: Haorui He, Yupeng Li, Dacheng Wen, Yang Chen, Reynold Cheng, Donglong Chen, Francis C. M. Lau

分类: cs.CL

发布日期: 2026-04-06

💡 一句话要点

提出DebateCV框架，利用多智能体辩论驱动的声明验证，提升复杂声明的验证精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 声明验证 大型语言模型 多智能体系统 辩论驱动 事实核查

📋 核心要点

  1. 现有单智能体声明验证方法难以处理需要细致分析多方面证据的复杂声明。
  2. DebateCV框架通过引入两个辩论者和一个仲裁者，模拟辩论过程，提升声明验证的准确性。
  3. Debate-SFT后训练框架利用合成数据，提升仲裁者有效裁决辩论的能力，实验结果表明该方法优于现有技术。

📝 摘要（中文）

现有的单智能体声明验证方法在处理需要细致分析多方面证据的复杂声明时表现不佳。受现实世界专业事实核查员的启发，我们提出了DebateCV，这是第一个由多个LLM智能体驱动的辩论式声明验证框架。在DebateCV中，两个辩论者就相反的立场进行辩论，以发现单智能体评估中的细微错误。然后需要一个决定性的仲裁者来权衡相互冲突的论点的证据强度，以提供准确的判决。然而，零样本仲裁者偏向于中立判断，并且不存在用于训练它们的数据集。为了弥合这一差距，我们提出了Debate-SFT，这是一个后训练框架，它利用合成数据来增强智能体有效裁决辩论以进行声明验证的能力。结果表明，我们的方法在准确性（在各种证据条件下）和理由质量方面都超过了最先进的非辩论方法。

🔬 方法详解

问题定义：论文旨在解决现有单智能体声明验证方法在处理复杂声明时，由于缺乏对多方面证据的细致分析而导致的准确性不足问题。现有方法难以发现单智能体评估中的细微错误，导致验证结果不够可靠。

核心思路：论文的核心思路是借鉴现实世界中专业事实核查员的辩论过程，构建一个多智能体辩论框架。通过让两个智能体就相反的立场进行辩论，可以更全面地挖掘证据，发现潜在的错误和偏见。然后，由一个仲裁者根据辩论双方提供的证据和论证，做出最终的判断。

技术框架：DebateCV框架包含三个主要模块：两个辩论者（Debaters）和一个仲裁者（Moderator）。辩论者分别代表支持和反对两种立场，通过多轮对话，互相挑战对方的观点，并提供证据支持自己的论点。仲裁者负责评估辩论双方的论证质量和证据强度，最终给出声明的真伪判断。为了提升仲裁者的判断能力，论文还提出了Debate-SFT后训练框架，利用合成数据对仲裁者进行微调。

关键创新：论文的关键创新在于提出了辩论驱动的声明验证框架DebateCV，该框架通过模拟辩论过程，能够更有效地挖掘证据，发现单智能体评估中的细微错误。此外，论文还提出了Debate-SFT后训练框架，用于提升仲裁者的判断能力。

关键设计：Debate-SFT框架的关键设计在于合成数据的生成方式。论文采用了一种基于规则和模板的方法，生成包含不同论点和证据的辩论数据。这些数据用于训练仲裁者，使其能够更好地理解和评估辩论双方的论证质量。具体的损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，DebateCV框架在准确性和理由质量方面均优于现有的非辩论方法。在各种证据条件下，DebateCV都表现出更高的准确性，并且能够提供更具说服力的理由。具体的性能提升数据在摘要中未给出，属于未知信息。

🎯 应用场景

该研究成果可应用于新闻事实核查、虚假信息检测、科学研究验证等领域。通过引入辩论机制，可以提高信息验证的准确性和可靠性，减少错误信息的传播，为公众提供更可信的信息来源。未来，该技术有望应用于智能客服、法律咨询等领域，辅助人类进行决策。

📄 摘要（原文）

State-of-the-art single-agent claim verification methods struggle with complex claims that require nuanced analysis of multifaceted evidence. Inspired by real-world professional fact-checkers, we propose \textbf{DebateCV}, the first debate-driven claim verification framework powered by multiple LLM agents. In DebateCV, two \textit{Debaters} argue opposing stances to surface subtle errors in single-agent assessments. A decisive \textit{Moderator} is then required to weigh the evidential strength of conflicting arguments to deliver an accurate verdict. Yet, zero-shot Moderators are biased toward neutral judgments, and no datasets exist for training them. To bridge this gap, we propose \textbf{Debate-SFT}, a post-training framework that leverages synthetic data to enhance agents' ability to effectively adjudicate debates for claim verification. Results show that our methods surpass state-of-the-art non-debate approaches in both accuracy (across various evidence conditions) and justification quality.