Measuring Mechanistic Uncertainty in Large Language Models via Causal Robustness

📄 arXiv: 2610.22636v1 📥 PDF

作者: Aneesh Komanduri, Majid Afshar, Timothy A. Miller, Yanjun Gao

分类: cs.CL, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出机械不确定性概念以解决大语言模型的可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 机械不确定性 因果鲁棒性 不确定性量化 雅可比透镜 模型敏感性 知识注入

📋 核心要点

  1. 现有方法在量化大语言模型的不确定性时，往往忽视了模型内部机制的稳定性，导致结果不可靠。
  2. 本文提出机械不确定性概念，通过因果鲁棒性边际来量化模型输出的敏感性，提供了一种新的不确定性评估方法。
  3. 实验结果表明，错误和不确定的回答具有较小的因果鲁棒性边际，且经过训练的正确事实显示出更大的边际，验证了方法的有效性。

📝 摘要（中文）

大语言模型（LLMs）在关键领域的应用日益增加，但其易受幻觉影响，使得可靠且可解释的不确定性量化变得至关重要。本文引入机械不确定性概念，通过模型响应支持的内部机制的稳定性来表征不确定性。我们提出了因果鲁棒性边际，定义为偏离模型输出所需的最小内部干预，并通过雅可比透镜（Jacobian Lens, Jlens）概念的引导向量进行操作。在对三个开源模型和五个问答数据集的实验中，我们发现错误和不确定的响应表现出较小的边际，表明对内部干预的敏感性更高，因果鲁棒性边际补充了传统的基于输出的不确定性方法。最后，在一个受控的知识注入实验中，正确学习的事实在训练后显示出增加的边际，表明因果鲁棒性提供了一个机械基础的不确定性信号。

🔬 方法详解

问题定义：本文旨在解决大语言模型在关键应用中的不确定性量化问题，现有方法未能充分考虑模型内部机制的稳定性，导致不可靠的输出。

核心思路：我们引入机械不确定性概念，通过因果鲁棒性边际来衡量模型输出对内部干预的敏感性，从而提供更可靠的不确定性评估。

技术框架：整体框架包括因果鲁棒性边际的定义、雅可比透镜（Jlens）概念的应用，以及在多个开源模型和数据集上的实验验证。主要模块包括模型响应的分析和干预的实施。

关键创新：最重要的创新在于提出因果鲁棒性边际这一新指标，它与传统的基于输出的不确定性方法有本质区别，能够更深入地反映模型的内部机制稳定性。

关键设计：在实验中，我们设置了不同的干预参数，并使用雅可比矩阵计算模型对这些干预的响应，确保了方法的有效性和可操作性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，错误和不确定的回答在因果鲁棒性边际上表现出显著差异，较小的边际表明更高的敏感性。此外，经过训练的正确事实的边际显著增加，验证了因果鲁棒性作为不确定性信号的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和自动驾驶等关键领域，能够帮助开发更可靠的AI系统，提升其在复杂环境中的决策能力。未来，该方法可能推动不确定性量化的标准化，促进AI技术的安全应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly used in critical domains, where their susceptibility to hallucinations makes reliable and interpretable uncertainty quantification essential. We introduce the concept of mechanistic uncertainty, which characterizes uncertainty through the stability of the internal mechanisms supporting a model's response. We propose the causal robustness margin, defined as the minimum internal intervention required to deviate the model's output, and operationalize it using Jacobian Lens (Jlens) concept steering vectors. Across three open-source models and five question-answering datasets, we show incorrect and uncertain responses exhibit smaller margins, indicating greater sensitivity to internal interventions, and the causal robustness margin complements conventional output-based uncertainty methods. Finally, in a controlled knowledge injection experiment, correctly learned facts show increased margins after training, suggesting that causal robustness provides a mechanistically grounded signal of uncertainty.