Belief in Authority: Impact of Authority in Multi-Agent Evaluation Framework

📄 arXiv: 2601.04790v1 📥 PDF

作者: Junhyuk Choi, Jeongyoun Kwon, Heeju Kim, Haeun Cho, Hayeong Jung, Sehee Min, Bugeun Kim

分类: cs.CL, cs.AI

发布日期: 2026-01-08

备注: Preprint

💡 一句话要点

首个多智能体评估框架研究：角色权威性偏见对智能体交互的影响分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 权威偏见 角色扮演 大型语言模型 评估框架

📋 核心要点

  1. 现有基于大型语言模型的多智能体系统常通过分配权威角色来提升性能，但权威偏见对智能体交互的影响尚不明确。
  2. 论文提出一种基于角色的权威性偏见分析方法，利用ChatEval评估框架，并结合French和Raven的权力理论对权威角色进行分类。
  3. 实验结果表明，专家权力和参照权力角色比合法权力角色具有更强的影响力，且权威影响依赖于明确的立场声明。

📝 摘要（中文）

本文首次系统性地分析了基于角色的权威性偏见对自由形式多智能体评估的影响，使用了ChatEval评估框架。基于French和Raven的权力理论，我们将权威角色分为合法权力、参照权力和专家权力三种类型，并分析了它们在12轮对话中的影响。使用GPT-4o和DeepSeek R1的实验表明，专家权力和参照权力角色比合法权力角色具有更强的影响力。关键在于，权威性偏见并非源于普通智能体的积极顺从，而是源于权威角色始终坚持自己的立场，而普通智能体表现出灵活性。此外，权威影响需要明确的立场声明，因为中立的回应无法产生偏见。这些发现为设计具有非对称交互模式的多智能体框架提供了关键见解。

🔬 方法详解

问题定义：论文旨在解决多智能体系统中，由于角色权威性带来的偏见问题。现有方法缺乏对这种偏见的系统性分析，无法有效评估和缓解其对智能体交互的影响。这种偏见可能导致智能体系统性能下降，决策失衡。

核心思路：论文的核心思路是借鉴French和Raven的权力理论，将权威角色进行分类（合法权力、参照权力、专家权力），并分析不同类型的权威角色在多智能体对话中的影响力。通过观察普通智能体在与不同权威角色交互时的行为，揭示权威偏见的产生机制。

技术框架：论文使用ChatEval作为多智能体评估框架，模拟多智能体对话场景。框架包含多个智能体，其中部分智能体被赋予不同的权威角色。对话过程持续12轮，记录每个智能体的发言和决策。通过分析智能体之间的交互模式，评估权威角色对普通智能体的影响。

关键创新：论文的创新点在于首次将French和Raven的权力理论应用于多智能体系统的权威偏见分析。通过实验验证了不同类型的权威角色对智能体交互的影响程度不同，并揭示了权威偏见产生的关键因素（如明确的立场声明）。

关键设计：论文的关键设计包括：1) 权威角色的类型划分（合法权力、参照权力、专家权力）；2) ChatEval评估框架的使用；3) 对话轮数的设置（12轮）；4) 智能体模型的选择（GPT-4o和DeepSeek R1）；5) 通过分析智能体发言的语义和情感，量化权威角色的影响力。

📊 实验亮点

实验结果表明，专家权力和参照权力角色比合法权力角色具有更强的影响力。权威性偏见并非源于普通智能体的积极顺从，而是源于权威角色始终坚持自己的立场。此外，权威影响需要明确的立场声明，中立的回应无法产生偏见。这些发现为设计具有非对称交互模式的多智能体框架提供了关键见解。

🎯 应用场景

该研究成果可应用于设计更公平、更高效的多智能体系统，例如在协作机器人、智能客服、在线教育等领域。通过理解和控制权威偏见，可以避免少数智能体过度影响系统决策，从而提高系统的鲁棒性和可靠性。未来的研究可以探索如何利用这些发现来设计更有效的权威角色分配策略。

📄 摘要（原文）

Multi-agent systems utilizing large language models often assign authoritative roles to improve performance, yet the impact of authority bias on agent interactions remains underexplored. We present the first systematic analysis of role-based authority bias in free-form multi-agent evaluation using ChatEval. Applying French and Raven's power-based theory, we classify authoritative roles into legitimate, referent, and expert types and analyze their influence across 12-turn conversations. Experiments with GPT-4o and DeepSeek R1 reveal that Expert and Referent power roles exert stronger influence than Legitimate power roles. Crucially, authority bias emerges not through active conformity by general agents, but through authoritative roles consistently maintaining their positions while general agents demonstrate flexibility. Furthermore, authority influence requires clear position statements, as neutral responses fail to generate bias. These findings provide key insights for designing multi-agent frameworks with asymmetric interaction patterns.