Measuring Collapse and Correction in Homogeneous-Panel LLM Debate
作者: Xin Li, Mengbing Liu, Chau Yuen
分类: cs.CL
发布日期: 2026-09-28
备注: Accepted at NeurIPS 2026 (Evaluations and Datasets Track). Project page: https://lixin.ai/DebateLedger. Code: https://github.com/LiXin97/DebateLedger
💡 一句话要点
提出审计协议以解决多代理LLM辩论中的评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多代理系统 大型语言模型 辩论评估 崩溃与纠正 审计协议 干预效用 实验结果
📋 核心要点
- 现有的评估方法将最终准确性与辩论过程中的崩溃和纠正混为一谈，导致评估结果不准确。
- 提出了一种可审计的辩论协议，记录辩论过程中的各类状态变化，以便更准确地评估干预效果。
- 在6925个辩论中识别出253次崩溃，重放实验显示出崩溃预防与纠正之间的权衡，提供了新的评估视角。
📝 摘要（中文）
多代理大型语言模型（LLM）辩论的评估通常依赖于最终答案的改善，但这种运动并不一定意味着改善。我们引入了一种可审计的协议，用于多项选择题（MCQ）的同质辩论，记录每次运行的过渡账本，包括崩溃、纠正、开始和签名干预效用。在6925个MMLU-Pro辩论中，该协议识别出253次崩溃，并建立了一个平行的纠正账本，改变了对干预的评判方式。重放实验揭示了核心权衡：一种留一模型的探测门控冻结方法可以防止29次崩溃，但在相等权重下损失了108次纠正，因此仅依靠崩溃预防可能会推荐错误的策略。我们发布了可重放的模式、编码器、审计、成本卡和零API重建脚本，以便未来的模型框架行可以在相同的分母和签名效用账本下进行比较。
🔬 方法详解
问题定义：本论文旨在解决多代理LLM辩论中评估标准不准确的问题，现有方法未能区分崩溃与纠正的影响，导致评估结果混淆。
核心思路：通过引入一种审计协议，记录辩论过程中的每个状态变化，提供透明的评估机制，以便更好地理解干预的效果。
技术框架：该协议包括多个模块：状态记录、崩溃与纠正识别、干预效用评估等。每次辩论的运行被记录为过渡账本，便于后续分析和重放。
关键创新：论文的主要创新在于建立了崩溃和纠正的平行账本，改变了对干预效果的评判标准，使得评估更加全面和准确。
关键设计：在实验中，采用了留一模型的探测门控冻结方法，设置了相应的权重以平衡崩溃预防与纠正的效果，同时引入了初始多数准确性作为比较指标。实验结果显示，初始多数准确性与条件崩溃风险之间存在显著关联。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用新协议识别出253次崩溃，重放实验显示，留一模型的探测门控冻结方法可以防止29次崩溃，但同时损失了108次纠正，揭示了崩溃预防与纠正之间的权衡。这些发现为未来的模型评估提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括教育评估、智能问答系统和多代理协作环境。通过改进评估机制，可以更有效地指导模型的训练和优化，提升其在复杂任务中的表现。未来，该协议可能在其他领域的多代理系统中得到推广，促进更透明的决策过程。
📄 摘要（原文）
Multi-agent large language model (LLM) debate is often evaluated by whether final answers improve, but movement is not necessarily improvement: the same discussion can rescue an initially wrong majority or destroy an initially correct one. Standard final-accuracy evaluations conflate these opposing mechanisms. We introduce an auditable protocol for homogeneous debate on multiple-choice questions (MCQs) that records each run as a transition ledger over collapse, correction, onset, and signed intervention utility. On 6,925 MMLU-Pro debates, the protocol identifies 253 collapses and a parallel correction ledger that changes how interventions should be judged. Replay experiments reveal the central tradeoff: a leave-one-model-out probe-gated freeze prevents 29 collapses but loses 108 corrections under equal weights, so collapse prevention alone can recommend the wrong policy. A compact pre-debate 8-probe screen is a triage signal: its unadjusted family-level association with conditional-collapse risk is high (G=7, Spearman rho=0.893, exact two-sided p=0.0123), but initial-majority accuracy is a close comparator (rho=0.821; family partial rho=0.767, p=0.0877), so we do not treat it as calibrated or capability-adjusted prediction. Round-level traces localize many collapses to the first debate round, where early disagreement can precede both harmful cascades and useful recovery. We release replayable schemas, coders, audits, cost cards, and zero-API rebuild scripts so future model-scaffold rows can be compared under the same denominators and signed utility ledger.