ECMR: Evidence-Aware Deliberation Control for Multi-Agent LLM Reasoning
作者: Yuan Liu, Haoyue Peng, Fanliang Hu, Lei Huang, Wenli Cai
分类: cs.AI, cs.MA
发布日期: 2026-10-13
备注: 32 pages, including references and technical appendices
💡 一句话要点
提出ECMR以解决多智能体LLM推理中的语义假共识问题
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 大型语言模型 推理控制 证据感知 语义假共识 动态决策 验证机制
📋 核心要点
- 现有的多智能体LLM系统在推理时使用固定的审议协议,导致无法有效分配计算资源,容易产生语义假共识问题。
- 本文提出ECMR,通过总结多种因素来动态控制推理过程,旨在提高答案的准确性和多样性。
- 实验结果表明,ECMR-Full在多个数据集上显著提高了准确率和证据支持率,降低了假共识率,展示了其有效性。
📝 摘要(中文)
多智能体大型语言模型(LLM)系统通常在推理前遵循固定的审议协议。然而,固定协议无法根据已解决和未解决实例的不同分配计算资源,可能会错误地将重复支持视为独立确认。本文提出ECMR,一种基于证据的控制器,能够在每一步总结答案集中度、支持多样性和独立性、矛盾、角色行为、验证历史及剩余预算,从而选择是否提出、挑战、验证、仲裁、分散、纠正角色或停止。通过对9000条记录的评估,ECMR-Full将准确率从62.1%提高到84.9%,将假共识率从40.7%降低到17.0%,并将证据支持率从58.0%提升至88.7%。
🔬 方法详解
问题定义:本文旨在解决多智能体LLM推理中的语义假共识问题,即在固定审议协议下,模型可能错误地将重复的支持视为独立的确认,导致决策不准确。
核心思路:ECMR通过引入证据感知控制机制,动态评估推理过程中的多种因素,选择最优的操作策略,以提高推理的准确性和效率。
技术框架:ECMR的整体架构包括多个模块:答案集中度评估、支持多样性分析、矛盾检测、角色行为监控、验证历史记录和预算管理。每个模块在推理过程中提供必要的信息支持。
关键创新:ECMR的主要创新在于其动态控制机制,能够根据实时反馈调整推理策略,而不是依赖于固定的审议协议。这种方法显著提高了模型在复杂场景下的表现。
关键设计:在ECMR中,设计了状态条件、风险触发验证和角色纠正等关键参数,以优化成本调整效用。此外,采用了适应性预算分配策略,以确保在不同情况下的最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示,ECMR-Full在9000条记录的评估中,准确率从62.1%提升至84.9%,假共识率从40.7%降低至17.0%,证据支持率从58.0%提高至88.7%。这些结果表明ECMR在处理复杂推理任务中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括医疗问答、金融分析和法律咨询等需要多智能体协作的场景。通过提高推理的准确性和可靠性,ECMR可以为决策支持系统提供更强的基础,促进智能系统在复杂任务中的应用。未来,该方法可能会影响多智能体系统的设计和优化,推动相关领域的研究进展。
📄 摘要(原文)
Multi-agent Large Language Model (LLM) systems typically commit to a deliberation protocol before inference. A fixed protocol cannot allocate computation differently to resolved and unresolved instances, and it may mistake repeated support for independent confirmation. We study this failure as semantic false consensus: a confident group answer supported by narrow, duplicated, or correlated rationales. We introduce ECMR, an evidence-aware controller over frozen role-conditioned LLMs. At each step, ECMR summarizes answer concentration, support diversity and independence, contradictions, role behavior, verification history, and remaining budget, then selects whether to propose, challenge, verify, arbitrate, diversify, correct a role, or stop. We formulate this decision as finite-horizon budgeted control and derive sufficient conditions under which state conditioning, risk-triggered verification, and role correction improve cost-adjusted utility. Across a declared held-out evaluation of 9,000 records from MedQA, CaseHOLD, and FinQA, ECMR-Full increases pooled accuracy from 62.1% to 84.9%, reduces false-consensus rate from 40.7% to 17.0%, and raises evidence-support rate from 58.0% to 88.7%. State shuffling loses 11.7 accuracy points with only 0.7 fewer rounds, while harder traces shift from early stopping toward arbitration. ECMR-Full uses the largest token budget, yielding the strongest absolute reliability rather than uniformly superior token efficiency.