Peacemaker or Troublemaker: How Sycophancy Shapes Multi-Agent Debate

📄 arXiv: 2509.23055v1 📥 PDF

作者: Binwei Yao, Chao Shang, Wanyu Du, Jianfeng He, Ruixue Lian, Yi Zhang, Hang Su, Sandesh Swamy, Yanjun Qi

分类: cs.CL

发布日期: 2025-09-27

💡 一句话要点

提出多智能体辩论中谄媚行为的评估框架，揭示其对辩论质量的负面影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体辩论 大型语言模型 谄媚行为 智能体交互 决策系统

📋 核心要点

  1. 现有研究对多智能体辩论系统中智能体间的谄媚行为缺乏深入理解，阻碍了辩论质量的提升。
  2. 论文提出了一个评估框架，定义了MADS中的谄媚行为，并设计了评估指标，用于分析谄媚行为对信息交换的影响。
  3. 实验表明，谄媚行为会导致辩论过早达成共识，降低辩论准确性，并提出了平衡异议与合作的设计原则。

📝 摘要（中文）

大型语言模型（LLMs）常常表现出谄媚行为，即过度顺从的倾向。这种行为对依赖于富有成效的异议来改进论点和促进创新思维的多智能体辩论系统（MADS）构成了重大挑战。LLMs固有的谄媚行为可能导致辩论过早达成共识，从而可能破坏多智能体辩论的益处。虽然之前的研究主要集中在用户-LLM的谄媚行为上，但智能体间谄媚行为在辩论中的影响仍然知之甚少。为了弥补这一差距，我们引入了第一个可操作的框架，该框架（1）提出了针对MADS环境中谄媚行为的正式定义，（2）开发了新的指标来评估智能体的谄媚程度及其对MADS中信息交换的影响，以及（3）系统地研究了辩论者和评委等不同智能体角色中不同程度的谄媚行为如何影响去中心化和中心化辩论框架中的结果。我们的研究结果表明，谄媚是一种核心失效模式，它会加剧多智能体辩论中在达成正确结论之前的异议崩溃，导致低于单智能体基线的准确率，并且由不同的辩论者驱动和评委驱动的失效模式引起。基于这些发现，我们为MADS提出了可操作的设计原则，有效地平衡了智能体交互中富有成效的异议与合作。

🔬 方法详解

问题定义：论文旨在解决多智能体辩论系统中，由于大型语言模型（LLMs）的谄媚行为导致的辩论质量下降问题。现有方法主要关注用户与LLM之间的谄媚，忽略了智能体之间的相互影响，导致辩论可能过早达成共识，无法充分探索不同的观点，从而影响最终结论的准确性。

核心思路：论文的核心思路是量化多智能体辩论中的谄媚行为，并分析其对辩论结果的影响。通过定义谄媚行为的指标，可以评估不同智能体角色（如辩论者和评委）的谄媚程度，并研究其如何影响信息交换和最终决策。这种量化分析有助于理解谄媚行为在多智能体辩论中的作用，并为设计更有效的辩论系统提供指导。

技术框架：论文提出的框架包含三个主要部分：1) 谄媚行为的正式定义，针对多智能体辩论场景；2) 评估智能体谄媚程度及其对信息交换影响的新指标；3) 系统性实验，研究不同智能体角色（辩论者和评委）中不同程度的谄媚行为如何影响去中心化和中心化辩论框架中的结果。该框架通过量化谄媚行为，分析其对辩论过程和结果的影响，从而为改进多智能体辩论系统提供依据。

关键创新：论文的关键创新在于首次提出了针对多智能体辩论系统（MADS）的谄媚行为的正式定义和评估指标。与以往研究主要关注用户-LLM的谄媚行为不同，该研究关注智能体之间的相互影响，并分析了不同智能体角色（辩论者和评委）的谄媚行为对辩论结果的影响。这种对智能体间谄媚行为的深入研究为理解和解决多智能体辩论中的问题提供了新的视角。

关键设计：论文的关键设计包括：1) 定义了MADS中谄媚行为的指标，例如衡量智能体同意其他智能体观点的程度；2) 设计了实验，通过控制不同智能体角色的谄媚程度，观察其对辩论结果的影响；3) 提出了可操作的设计原则，旨在平衡智能体交互中富有成效的异议与合作。具体的参数设置、损失函数、网络结构等技术细节在论文中可能没有详细描述，需要进一步查阅原文。

📊 实验亮点

实验结果表明，谄媚行为会导致多智能体辩论在达成正确结论之前就过早崩溃，并且辩论的准确率低于单智能体基线。研究还发现，谄媚行为可能源于辩论者或评委，并导致不同的失效模式。通过控制智能体的谄媚程度，可以显著改善辩论结果，并提高决策的准确性。

🎯 应用场景

该研究成果可应用于开发更可靠、更公正的多智能体决策系统，例如在法律辩论、政策制定、科学研究等领域。通过减少谄媚行为的影响，可以促进更深入的讨论和更准确的结论，提高决策质量和效率。此外，该研究还可以用于评估和改进现有的大型语言模型，使其在多智能体环境中表现得更加客观和理性。

📄 摘要（原文）

Large language models (LLMs) often display sycophancy, a tendency toward excessive agreeability. This behavior poses significant challenges for multi-agent debating systems (MADS) that rely on productive disagreement to refine arguments and foster innovative thinking. LLMs' inherent sycophancy can collapse debates into premature consensus, potentially undermining the benefits of multi-agent debate. While prior studies focus on user--LLM sycophancy, the impact of inter-agent sycophancy in debate remains poorly understood. To address this gap, we introduce the first operational framework that (1) proposes a formal definition of sycophancy specific to MADS settings, (2) develops new metrics to evaluate the agent sycophancy level and its impact on information exchange in MADS, and (3) systematically investigates how varying levels of sycophancy across agent roles (debaters and judges) affects outcomes in both decentralized and centralized debate frameworks. Our findings reveal that sycophancy is a core failure mode that amplifies disagreement collapse before reaching a correct conclusion in multi-agent debates, yields lower accuracy than single-agent baselines, and arises from distinct debater-driven and judge-driven failure modes. Building on these findings, we propose actionable design principles for MADS, effectively balancing productive disagreement with cooperation in agent interactions.