Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
作者: Ionel Eduard Stan, Paolo Napoletano
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出贝叶斯辩证论证以解决多LLM议会的可靠性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多LLM议会 贝叶斯辩证论证 可靠性估计 对抗性环境 决策系统
📋 核心要点
- 现有的议会聚合方法无法有效估计置信度的正确性，且无法识别持续不可靠的代理，导致决策不稳健。
- 本文提出贝叶斯辩证论证（BDA），将议会的类型化动作视为观测，利用推理轨迹推断代理的可靠性。
- BDA在二元和多类基准测试中表现出最佳的校准效果，且在对抗性环境下的稳健性显著提升。
📝 摘要（中文）
多LLM议会允许多个大型语言模型共同对问题进行讨论并返回答案及置信度。随着这些系统在推理中的使用日益增加，置信度应代表校准的正确性概率，并在某些代理持续不可靠时保持决策的稳健性。现有的议会聚合方法在这两方面均存在不足：其置信度估计衡量的是果断性而非正确性，且无法识别或排除持续不可靠的代理。本文提出了贝叶斯辩证论证（BDA），将议会的类型化动作视为经典标注模型的观测，利用推理轨迹推断代理的可靠性。通过根据推断的代理可靠性加权证据，BDA能够提供候选答案的校准后验概率，同时允许持续不可靠的代理被反转而非仅仅被否决。在二元和多类基准测试中，BDA在零成本议会聚合方法中实现了最佳校准，并在持续对抗性联盟下提高了稳健性，同时在干净环境中保持竞争力。
🔬 方法详解
问题定义：本文旨在解决多LLM议会中置信度估计不准确及持续不可靠代理的识别问题。现有方法无法有效处理这些挑战，导致决策的可靠性下降。
核心思路：论文提出的贝叶斯辩证论证（BDA）通过将代理的类型化动作视为观测数据，利用这些数据推断每个代理的可靠性，从而提高置信度的校准性。
技术框架：BDA的整体架构包括代理动作的记录、可靠性推断、证据加权和后验概率计算等主要模块。通过分析代理的讨论轨迹，BDA能够动态调整对每个代理的信任程度。
关键创新：BDA的核心创新在于将多代理的讨论过程视为一个可靠性估计问题，允许持续不可靠的代理被反转，而不仅仅是被否决。这一方法显著提高了决策的稳健性和置信度的准确性。
关键设计：在设计中，BDA采用了基于代理的可靠性模型，结合了损失函数的优化和动态证据加权机制，确保了在不同环境下的适应性和性能提升。具体参数设置和网络结构细节在实验部分进行了详细说明。
🖼️ 关键图片
📊 实验亮点
在实验中，BDA在零成本议会聚合方法中实现了最佳的置信度校准，显著提高了在持续对抗性环境下的稳健性。与基线方法相比，BDA在多个基准测试中表现出更高的准确性和可靠性，证明了其有效性。
🎯 应用场景
该研究的潜在应用领域包括智能决策系统、自动化辩论平台和多代理协作环境。通过提高多LLM议会的决策可靠性，BDA能够在法律、医疗和金融等领域提供更为精准的建议和判断，具有重要的实际价值和未来影响。
📄 摘要（原文）
A multi-LLM \emph{council} lets several large language models (LLMs) deliberate on a question and return an answer together with a confidence estimate. As these systems become increasingly used for reasoning, that confidence should represent a calibrated \emph{probability of being correct}, and the decision should remain robust when some agents are persistently unreliable. Existing \emph{council aggregation} methods fail on both fronts: their confidence estimates measure decisiveness rather than correctness, and they cannot identify or discount persistently unreliable agents. We introduce Bayesian Dialectical Argumentation (BDA), which treats the council's \emph{typed} moves---who proposed, challenged, or conceded which answer---as observations of a classical annotator model with \emph{per-agent} reliabilities. This formulation recasts multi-agent deliberation as a reliability estimation problem, using the deliberation trace to infer agent reliability under persistent adversarial behavior. By weighting evidence according to inferred agent reliability, BDA yields calibrated posterior probabilities over candidate answers while allowing persistently unreliable agents to be inverted rather than merely outvoted. Across binary and multi-class benchmarks, BDA achieves the best calibration among zero-cost council aggregation methods, requiring no additional LLM calls, and improves robustness under persistent adversarial coalitions while remaining competitive in clean settings.