Output Discipline Sets the Floor: A Falsification-Guided, Model-Agnostic Agent Protocol for Auditable Hypothesis-Driven Decision Making
作者: Jing Liu, Yongxing Qi, Ping Yao, Ting Wu
分类: cs.AI
发布日期: 2026-10-13
备注: 24 pages, 5 figures, 12 tables
💡 一句话要点
提出模型无关的代理协议以增强假设驱动的决策过程
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 假设驱动决策 模型无关框架 输出纪律 伪造协议 推理结构 传统中医 可审计性
📋 核心要点
- 现有大型语言模型在假设驱动的决策任务中，输出纪律和推理结构的不足限制了其性能。
- 论文提出了一种模型无关的代理框架，通过候选项与证据矩阵的伪造协议，增强决策过程的有效性。
- 实验表明，该协议在多个基准模型上显著提高了推理准确性，尤其是在输出纪律较弱的情况下。
📝 摘要（中文）
本研究探讨了在可审计的假设驱动决策任务中，大型语言模型的输出纪律和推理结构的重要性。通过在传统中医症状辨识的TCMEval-SDT基准上进行测试，发现模型能力的提升对零-shot得分影响微小，而输出纪律的失败问题依然存在。论文提出了一种模型无关的代理框架，将决策过程形式化为五个阶段的闭环，并通过候选项与证据矩阵的伪造协议进行约束。实验结果显示，该协议显著改善了模型的推理能力，并在处理错误信息时表现出色。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型在假设驱动决策任务中的输出纪律不足问题，现有方法在模型能力提升时未能有效改善推理质量。
核心思路：论文提出的核心思路是通过模型无关的代理框架，形式化决策过程为五个阶段的闭环，并引入候选项与证据的伪造协议，以确保每个候选项都能被有效评估。
技术框架：整体架构包括五个主要阶段：候选项生成、证据评估、伪造检测、结论形成和输出格式化。每个阶段都通过候选项与证据矩阵进行相互作用，确保决策的可靠性。
关键创新：最重要的技术创新在于引入了候选项与证据矩阵的伪造协议，确保在得出结论之前，至少一半的候选项必须被伪造，从而提高了决策的审计性和可靠性。
关键设计：在设计中，采用了候选项有界格式层，并通过实验验证了该设计与注入知识内容的解耦性，确保了协议的有效性和适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在多个基准模型上，采用该协议后，模型的推理准确性显著提高。例如，DeepSeek-V4-Flash模型的得分提升了0.267，而Kimi K3模型的运行标准差从0.218降至0.007。此外，该协议在处理错误信息时，能够以89.8%的召回率检测到注入的错误前提。
🎯 应用场景
该研究的潜在应用领域包括医疗决策支持系统、法律判决辅助工具以及任何需要高可靠性推理的领域。通过增强模型的输出纪律和推理结构，该方法能够提高决策的透明度和可审计性，具有重要的实际价值和未来影响。
📄 摘要（原文）
What binds large language models on auditable, hypothesis-driven decision tasks, where every candidate can be checked against the evidence? On the public TCMEval-SDT benchmark for Traditional Chinese Medicine syndrome differentiation (200 cases), the binding constraint is output discipline and reasoning structure, not model capability alone: two years of model scaling move zero-shot scores by only -0.03 to +0.08, while output-discipline failures (non-terminating reasoning, format non-compliance, large run-to-run spread) persist even in frontier models. We test this with a model-agnostic agent framework formalizing decision making as a five-stage closed loop, enforced by a candidate x evidence matrix falsification protocol: every candidate is judged against every evidence item, at least half of the candidates must be falsified before a conclusion is licensed, and survivors are emitted in a machine-verifiable single-line format. Across five base models, the effect is sign-conditional on zero-shot output discipline: it rescues models whose discipline fails (DeepSeek-V4-Flash: +0.267/+0.271, entirely termination rescue), reduces a high-variance model's run-to-run standard deviation from 0.218 to 0.007 (Kimi K3), and significantly costs already-disciplined models (-0.087 to -0.120 on budget-matched Qwen3-4B/32B). Ablations attribute the cost to the candidate-bounded format layer and show the effect is independent of injected knowledge content (protocol-knowledge decoupling). The protocol also transfers to misinformation-robust mathematical reasoning, detecting injected false premises at 89.8% recall with a 6.8% false-positive rate (MCC 0.54; a flag-everything baseline scores 0) and restoring accuracy to the no-misinformation ceiling. Where zero-shot output discipline is weak, the reasoning protocol sets the floor; base-model capability always sets the ceiling.