The Computational Basis of Confidence in Large Language Models

📄 arXiv: 2607.12447v1 📥 PDF

作者: Dharshan Kumaran, Viorica Patraucean, Maks Ovsanikov, Petar Veličković, Nathaniel Daw

分类: cs.LG, cs.AI

发布日期: 2026-07-14

💡 一句话要点

提出统计决策信心框架以解析大语言模型的信心机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 信心机制 统计决策信心 多模态学习 计算神经科学 潜在决策变量 模型校准 视觉推理

📋 核心要点

  1. 现有方法主要关注信心的预测能力和校准性，未深入探讨信心信号的本质含义。
  2. 本文提出使用统计决策信心（SDC）框架，分析答案对数差（LD）作为潜在决策变量的表现。
  3. 实验结果表明，LD在多种任务中表现出单调性，能够有效预测正确性，揭示了信心信号的计算基础。

📝 摘要（中文）

可靠的信心，即模型自身答案正确的概率，对于语言模型的可信部署至关重要。现有研究主要评估信心如何预测正确性及其校准情况，但未深入探讨信心信号本身的含义。本文采用统计决策信心（SDC）这一来自计算神经科学的规范框架，研究答案对数差（LD）作为潜在决策变量的读出。通过在三种感知判别任务和一种基于记忆的决策任务中进行测试，发现LD符合SDC的定性特征，表明答案对数在这些设置中表现为潜在决策变量的单调读出。尽管在复杂视觉推理中，LD仍能超越任务难度预测正确性，但缺乏SDC的完整几何特征，揭示了当前框架的局限性。此研究为多模态语言模型中的信心提供了计算解释，并确立了SDC作为生物与人工智能信心研究的统一框架。

🔬 方法详解

问题定义：本文旨在解决大语言模型中信心信号的本质问题，现有方法未能充分解释信心信号的内涵及其与正确性的关系。

核心思路：通过引入统计决策信心（SDC）框架，研究答案对数差（LD）作为潜在决策变量的读出，探讨其在不同任务中的表现。

技术框架：整体架构包括三个感知判别任务和一个基于记忆的决策任务，采用多模态非推理模型和推理模型进行对比分析。

关键创新：LD被证明在多种任务中作为潜在决策变量的单调读出，而非简单的启发式偏好信号，这一发现为理解信心信号提供了新的视角。

关键设计：实验中对LD的计算方式进行了精确设计，确保其能够反映潜在决策变量的特征，并通过定性分析验证其符合SDC的预期特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，答案对数差（LD）在三种感知判别任务和一种记忆决策任务中，成功预测了正确性，并符合SDC的定性特征。尤其是在复杂视觉推理任务中，LD的表现超越了任务的客观难度，尽管未能完全体现SDC的几何特征，展示了该框架的应用潜力与局限性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和人机交互等。通过深入理解语言模型中的信心机制，可以提升模型的可靠性和用户信任度，推动智能系统在复杂任务中的应用。未来，该框架可能为生物智能与人工智能的信心研究提供统一的理论基础。

📄 摘要（原文）

Reliable confidence -- the probability that a model's own answer is correct -- is essential for the trustworthy deployment of language models. Existing work has largely evaluated confidence by how well it predicts correctness and whether it is calibrated, leaving open a more fundamental question: what does the confidence signal itself represent? Answer logits may reflect a latent decision variable sufficient to compute normative confidence, or instead a heuristic preference signal that combines the available evidence in a non-Bayesian manner. We address this using statistical decision confidence (SDC), a normative framework from computational neuroscience. Treating the answer-logit difference (LD) as a candidate readout of the latent decision variable, we test the qualitative signatures predicted by SDC. Across three perceptual discrimination tasks and a memory-based decision task, spanning three multimodal non-reasoning models and one reasoning model, LD satisfied these signatures -- including the diagnostic correct/error folded-X pattern -- showing that, in these settings, answer logits behave as monotonic readouts of a latent decision variable rather than heuristic preference scores. In complex visual reasoning, LD continued to predict correctness beyond objective task difficulty, but the full geometric signatures of SDC were absent, illustrating the current boundary of the framework when explicit normative process models are unavailable. These results provide a computational account of confidence in multimodal language models, delineate when answer logits behave as readouts of a latent decision variable, and establish SDC as a unifying framework for studying confidence across biological and artificial intelligence.