Can LLMs Beat Humans in Debating? A Dynamic Multi-agent Framework for Competitive Debate

📄 arXiv: 2408.04472v2 📥 PDF

作者: Yiqun Zhang, Xiaocui Yang, Shi Feng, Daling Wang, Yifei Zhang, Kaisong Song

分类: cs.CL

发布日期: 2024-08-08 (更新: 2024-08-20)

备注: 12 pages (including appendix), 7 figures

💡 一句话要点

提出Agent4Debate，一个基于LLM的动态多智能体辩论框架，性能媲美人类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多智能体系统 竞争性辩论 计算论证 自然语言处理

📋 核心要点

  1. 现有LLM在辩论等复杂论证任务中存在幻觉和竞争力不足的问题，限制了其应用。
  2. Agent4Debate框架模仿人类辩论流程，通过多个专业智能体协同工作，提升LLM的辩论能力。
  3. 实验结果表明，Agent4Debate的性能与人类辩手相当，证明了该框架的有效性。

📝 摘要（中文）

本文提出Agent4Debate，一个基于大型语言模型（LLM）的动态多智能体框架，旨在提升LLM在复杂计算论证任务——辩论中的能力，解决LLM存在的幻觉和缺乏竞争力的挑战。Agent4Debate借鉴人类辩论准备和执行的行为，采用协作架构，包含搜索者、分析者、写作者和审查者四个专业智能体，它们在辩论过程中动态交互和合作，覆盖从初始研究、论点形成到反驳和总结的多个阶段。为了全面评估框架性能，构建了包含66个精心挑选的中文辩题的竞争性辩论场。招募了十名经验丰富的人类辩手，并收集了200场涉及Agent4Debate、基线模型和人类的辩论记录。评估采用Debatrix自动评分系统和基于Debatrix-Elo和Human-Elo排名的专业人工评审。实验结果表明，最先进的Agent4Debate表现出与人类相当的能力。消融研究证明了智能体结构中每个组件的有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在竞争性辩论任务中表现不佳的问题。现有LLM容易产生幻觉，并且在论证和反驳方面缺乏策略性，导致其在辩论中竞争力不足。因此，需要一种能够提升LLM辩论能力的框架。

核心思路：论文的核心思路是模仿人类辩论的准备和执行过程，将辩论任务分解为多个子任务，并由不同的专业智能体负责。通过智能体之间的协作和动态交互，提高LLM在辩论中的逻辑性和策略性。

技术框架：Agent4Debate框架包含四个主要智能体：搜索者（Searcher）、分析者（Analyzer）、写作者（Writer）和审查者（Reviewer）。搜索者负责收集相关信息，分析者负责分析信息并形成论点，写作者负责撰写辩论稿，审查者负责审查和改进辩论稿。这些智能体在辩论的不同阶段协同工作，包括初始研究、论点形成、反驳和总结。整个流程是动态的，智能体之间可以反复交互，不断完善辩论内容。

关键创新：该论文的关键创新在于提出了一个动态多智能体框架，将辩论任务分解为多个子任务，并由不同的专业智能体协同完成。这种框架能够有效地利用LLM的优势，并克服其在辩论中存在的不足。与传统的单智能体辩论方法相比，Agent4Debate更加灵活和高效。

关键设计：Agent4Debate的关键设计包括智能体的角色定义、智能体之间的交互方式以及辩论流程的控制。每个智能体都经过精心设计，以完成特定的任务。智能体之间的交互采用了一种动态的方式，允许智能体之间反复沟通和协作。辩论流程的控制则通过一个中心控制器来实现，该控制器负责协调各个智能体的工作，并确保辩论的顺利进行。具体的参数设置和网络结构等技术细节在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Agent4Debate在竞争性辩论中表现出与人类辩手相当的能力。通过Debatrix自动评分系统和人工评审，Agent4Debate的Elo评分接近人类水平。消融研究进一步证明了框架中每个智能体组件的有效性，表明该框架的设计是合理的。

🎯 应用场景

Agent4Debate框架具有广泛的应用前景，可用于自动化辩论系统、智能客服、法律咨询、政策制定等领域。通过模拟辩论过程，可以帮助人们更好地理解问题、评估不同观点，并做出更明智的决策。此外，该框架还可以用于训练LLM，提高其在复杂论证任务中的能力。

📄 摘要（原文）

Competitive debate is a complex task of computational argumentation. Large Language Models (LLMs) suffer from hallucinations and lack competitiveness in this field. To address these challenges, we introduce Agent for Debate (Agent4Debate), a dynamic multi-agent framework based on LLMs designed to enhance their capabilities in competitive debate. Drawing inspiration from human behavior in debate preparation and execution, Agent4Debate employs a collaborative architecture where four specialized agents, involving Searcher, Analyzer, Writer, and Reviewer, dynamically interact and cooperate. These agents work throughout the debate process, covering multiple stages from initial research and argument formulation to rebuttal and summary. To comprehensively evaluate framework performance, we construct the Competitive Debate Arena, comprising 66 carefully selected Chinese debate motions. We recruit ten experienced human debaters and collect records of 200 debates involving Agent4Debate, baseline models, and humans. The evaluation employs the Debatrix automatic scoring system and professional human reviewers based on the established Debatrix-Elo and Human-Elo ranking. Experimental results indicate that the state-of-the-art Agent4Debate exhibits capabilities comparable to those of humans. Furthermore, ablation studies demonstrate the effectiveness of each component in the agent structure.