Towards Mitigating Fabricated Consensus: The Active Provenance Gate for Multi-Agent Debate Synthesis
作者: Jakub Masłowski, Jarosław A. Chudziak
分类: cs.MA, cs.AI, cs.CL
发布日期: 2026-09-25
备注: Accepted for publication at the 38th IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2026)
💡 一句话要点
提出主动来源门以解决多智能体辩论合成中的虚假共识问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 辩论合成 主动验证 数据来源追踪 信息准确性
📋 核心要点
- 现有的多智能体辩论系统在合成阶段缺乏有效控制，容易生成与辩论历史不符的虚假共识。
- 本文提出主动来源门（APG）作为后辩验证层，通过分析辩论日志和审计主张来减少无事实支持的总结。
- 实验结果显示，自我修复机制在困难条件下将数据来源保真度提高了一倍以上，用户偏好明确的失败报告。
📝 摘要（中文）
基于大型语言模型的多智能体辩论系统在分布式决策流程中越来越多地被使用。然而，其最终合成阶段仍然缺乏有效控制，导致总结模型可能生成与辩论历史无关的虚假共识。为了解决这一安全隐患，本文提出了主动后辩验证机制，以减少无事实支持的总结，同时提供有价值的信息。研究还探讨了在缺乏可靠妥协的情况下，明确标识分歧是否更为可取。引入的主动来源门（APG）作为后辩验证层，分析辩论日志，审计每个主张，并进行自我修正。在危机模拟中，自我修复机制在困难条件下将数据来源保真度提高了一倍以上，严格的门控机制阻止了不支持的主张并生成分歧报告。人类研究中，超过75%的用户更倾向于明确指出关键场景中的失败，尽管大多数人认为基线系统生成的虚假共识更流畅。
🔬 方法详解
问题定义：本文旨在解决多智能体辩论系统合成阶段的虚假共识问题，现有方法在辩论日志的总结中缺乏有效的事实支持，导致生成的内容不可靠。
核心思路：论文提出的主动来源门（APG）机制，通过后辩验证来审计辩论日志，确保生成的总结与辩论历史一致，从而减少虚假共识的产生。
技术框架：整体架构包括辩论日志分析、主张审计和自我修正三个主要模块。APG在辩论结束后对所有主张进行审计，并在发现不支持的主张时进行阻止和报告。
关键创新：最重要的创新在于将数据来源追踪从被动记录转变为主动条件阻止，确保在发布前对不支持的主张进行严格控制。
关键设计：在设计中，APG设置了严格的门控机制，审计每个主张的来源，并在关键场景中生成分歧报告，确保用户能够获得真实的信息。实验中还采用了自我修复机制，以提高数据来源保真度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，自我修复机制在困难条件下将数据来源保真度提高了超过一倍，且超过75%的用户更倾向于接受明确指出失败的报告，尽管基线系统生成的虚假共识更流畅。这表明主动验证机制在用户体验和信息准确性方面的显著提升。
🎯 应用场景
该研究的潜在应用领域包括自动化决策支持系统、智能客服和信息验证平台等。通过提高辩论系统的可靠性，能够在危机管理、政策制定等场景中提供更为准确的信息支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language model-based multi-agent debate (MAD) systems are being increasingly used as complex decision pipelines in distributed processes. However, their final synthesis phase still remains inadequately controlled. Even with detailed debate logs, summarizing models are prone to fabricating smoothly written debate consensus that is not grounded in the debate's history. To address this safety gap, this paper presents empirical research and studies if the introduction of active post-debate verification can mitigate the production of such factually unsupported summaries, while still providing valuable information. Furthermore, it is examined whether explicitly signalling divergence is preferable in the absence of a reliable compromise. The Active Provenance Gate (APG) is introduced as a post-debate verification layer that treats the source as a hard constraint, analysing the debate logs, auditing each claim, and applying self-correction. In crisis simulations, the self-healing mechanism more than doubles the average data Provenance Fidelity in difficult condition scenarios, before the strict gate blocks unsupported claims and generates divergence reports. In the human study, a vast majority of the users (over 75%) preferred a report explicitly stating failure in critical scenarios, despite most of them perceiving fabricated consensus from the baseline system as more fluent. Our main contribution is the transition of data origin tracing from passive logging to active conditional blocking before publication.