Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models
作者: Debojeet Ghosh, Shreyansh Kumar, Ayushman Garg
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-19
💡 一句话要点
比较三种信心信号测量方法以提高语言模型的可信度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 信心信号 模型评估 自然语言处理 可信AI 多步推理 事实检索
📋 核心要点
- 现有方法通常只通过单一渠道测量语言模型的信心信号，缺乏全面的比较与分析。
- 本文通过对三种信心信号测量方法的比较，提出了一种更全面的评估框架，以提高模型的可信度。
- 实验结果显示，隐藏状态探测在检索任务中更早提供有效信号，而口头信心的稳定性较差，期望校准误差存在误导性。
📝 摘要（中文）
本文探讨了语言模型在可信部署中的信心信号测量，比较了三种方法：口头信心、隐藏状态线性探测和采样答案一致性。通过对五个Qwen2.5模型的预注册审计，发现不同方法在事实检索和多步推理中的有效性差异。结果表明，隐藏状态探测在检索任务中更早显现信息，而口头信心的不稳定性和期望校准误差的误导性也被揭示。五个假设中，有两个被证伪，一个部分支持，一个未得到支持，另一个因模型的口头信心退化而无法测试。
🔬 方法详解
问题定义：本文旨在解决语言模型在可信部署中如何有效测量信心信号的问题。现有方法通常只依赖单一信号，导致评估结果不够全面和准确。
核心思路：通过比较口头信心、隐藏状态线性探测和采样答案一致性三种信心信号测量方法，提供一个多维度的评估框架，以便更好地理解模型的信心表现。
技术框架：研究使用了五个Qwen2.5模型，分别在事实检索（PopQA、SimpleQA）和多步推理（GSM8K、MATH）任务上进行测试。实验分为预注册的五层测试和后续的21层细化测试。
关键创新：最重要的创新在于通过系统比较三种信心信号测量方法，揭示了它们在不同任务中的有效性差异，特别是在检索和推理任务中的表现。
关键设计：使用了TF-IDF分类器与隐藏状态探测进行对比，发现早期信号可能反映问题的表面特征。此外，口头信心的评分在不同提示模板下变化较大，显示出其不稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，隐藏状态探测在事实检索任务中比在多步推理任务中更早显现有效信号，平均约为7%层深度与28%的对比。此外，口头信心的稳定性较差，且期望校准误差的表现存在误导性，显示出不同信心信号的有效性差异。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型评估、信心信号的优化以及可信AI的开发。通过更准确的信心测量，能够提升语言模型在实际应用中的可靠性，尤其是在需要高可信度的场景中，如医疗、法律和金融等领域。
📄 摘要（原文）
Whether a language model "knows what it knows" matters for trustworthy deployment and for deciding when it should abstain. Prior work usually measures this through one channel: verbalized confidence, a linear probe on hidden states, or agreement among sampled answers (semantic entropy), and often treats these as interchangeable. We compare all three in a pre-registered audit of five Qwen2.5 models (0.5B-7B, including a base/instruct pair at 7B) on factual retrieval (PopQA, SimpleQA) and multi-step reasoning (GSM8K, MATH). First, probes trained on prefill states to predict whether sampled answers will disagree become informative earlier for retrieval (about 7% of layer depth on average) than for reasoning (about 28%). The pre-registered five-layer test supported this only marginally; a finer 21-layer follow-up, designed after those results, supports it more clearly. In most retrieval cells, however, a prompt-only TF-IDF classifier matches the probe, so the early signal may reflect surface features of the question. Second, verbalized confidence is unstable: slightly different prompt templates yield scores that barely correlate. Third, Expected Calibration Error is misleading: verbal confidence looks well calibrated because it clusters near the base rate while discriminating poorly, whereas sampling agreement has worse ECE but about twice the resolution. Of five pre-registered hypotheses, two were falsified, one was partly supported, one was not supported, and one could not be tested because the base model's verbal confidence was degenerate.