Argument Graph Uncertainty: Quantifying Uncertainty from the Logical Structure of Reasoning Chains
作者: Simon Baur, Sumire Honda, Wojciech Samek, Jackie Ma
分类: cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出论证图不确定性以解决推理链逻辑结构的信心估计问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性估计 推理链 论证图 自然语言推理 模型信心 高风险任务 机器学习
📋 核心要点
- 现有的不确定性估计方法多依赖昂贵的采样策略或浅层信号，忽视了推理链的逻辑结构，导致信心估计不准确。
- 本文提出的论证图不确定性框架通过分析推理链的逻辑结构，利用轻量模型分割推理链并构建互补的论证图来估计信心。
- 在GPQA、MMLU-Pro和TruthfulQA等数据集上，本文方法在多个推理模型中表现优于现有的基线方法，显示出显著的性能提升。
📝 摘要（中文）
可靠的不确定性估计对于在高风险推理任务中部署大型语言模型至关重要，但现有方法多依赖昂贵的采样策略或忽视模型输出内部逻辑结构的浅层标记信号。本文提出了论证图不确定性框架，直接从单一推理链的逻辑结构中估计模型信心。该方法通过轻量级的指令调优模型或简单的确定性规则将推理链分割为命题单元，随后应用自然语言推理模型推断关系边并构建两个互补的论证图。最终，边缘分数被聚合为答案选项的Dirichlet后验，集中度反映了推理链的局部一致性和全局逻辑一致性。实验结果表明，该方法在多个推理模型上超越了基于标记和一致性的不确定性基线。
🔬 方法详解
问题定义：本文旨在解决在高风险推理任务中，现有方法对模型输出逻辑结构的忽视，导致的不确定性估计不准确的问题。
核心思路：通过构建论证图，直接从推理链的逻辑结构中提取信息，进而估计模型的信心。这种设计使得不确定性估计更加可靠且具有解释性。
技术框架：整体框架包括推理链的分割、关系边的推断和论证图的构建。首先，使用轻量级模型或确定性规则将推理链分割为命题单元；然后，应用自然语言推理模型推断这些单元之间的关系；最后，构建两个互补的论证图并聚合边缘分数。
关键创新：最重要的创新在于提出了论证图不确定性这一新框架，能够捕捉到与现有方法不同的信号，成为不确定性集成中的互补组件。
关键设计：该方法依赖于小型高效的辅助模型，避免了对主模型的额外调用，且能够生成每个节点的可解释不确定性归因，具有较低的计算成本。具体的参数设置和损失函数未在摘要中详细说明，需参考原文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，论证图不确定性方法在GPQA、MMLU-Pro和TruthfulQA数据集上均超越了基于标记和一致性的方法，表现出更高的准确性和可靠性。具体而言，该方法在多个推理模型中均实现了显著的性能提升，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括高风险决策支持系统、自动化推理任务和智能问答系统等。通过提供可靠的不确定性估计，能够增强模型在复杂推理场景下的可信度和实用性，未来可能推动更广泛的应用。
📄 摘要（原文）
Reliable uncertainty estimation is essential for deploying large language models in high-stakes reasoning tasks, yet most existing approaches rely on expensive sampling strategies or shallow token-level signals that ignore the internal logical structure of model outputs. We introduce Argument Graph Uncertainty, a post-hoc framework for multiple choice question tasks, that estimates model confidence directly from the logical structure of a single chain-of-thought reasoning trace. Our method uses either a lightweight instruction-tuned model or a simple deterministic rule to segment the reasoning chain into propositional units, then applies a NLI model to infer relational edges and construct two complementary argument graphs over these segments. The resulting edge scores are aggregated into a Dirichlet posterior over answer options, whose concentration yields calibrated uncertainty estimates reflecting both local step-to-step coherence and global logical consistency across the reasoning trace. Evaluated on GPQA, MMLU-Pro and TruthfulQA, our method consistently surpasses token-based and consistency-based uncertainty baselines across multiple reasoning models. We further demonstrate through extensive combination analyses that argument graph uncertainty captures an orthogonal signal to existing approaches, making it a complementary component in uncertainty ensembles. Crucially, our framework requires no additional calls to the evaluated model and relies entirely on small, efficient auxiliary models, producing fully interpretable, per-node uncertainty attributions at low computational cost.