An Analysis of Training-Free Self-Reported Confidence in Language Models
作者: Lukas Meyer, Sofia Rossi, Wei Chen, Thomas Laurent, Yiming Li
分类: cs.CL
发布日期: 2026-09-17
备注: workshop
💡 一句话要点
分析语言模型自报告信心的训练无关信号
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 自报告信心 训练无关信号 正确性预测 多样本一致性
📋 核心要点
- 现有语言模型在自报告信心方面存在不确定性，难以判断其准确性和可靠性。
- 论文通过分析三种训练无关的信号，探讨语言模型自报告信心的有效性与局限性。
- 实验结果显示，直接的信心表达在正确性预测上表现优异，而三样本一致性较弱，且信心报告对引导敏感。
📝 摘要（中文）
大型语言模型能够在生成内容时报告数值信心，但这种报告是否超越了校准的修辞尚不明确。本文分析了三种训练无关的信号：与答案一起表达的信心、事后概率 $P( ext{True})$ 以及对同一100个TriviaQA问题的三次额外生成的一致性。直接的信心表达是一个意外强大的基线：在审计基准错误后，其正确性预测的AUROC分别达到0.956和0.937。三样本一致性显著较弱（0.765和0.790），而固定插值与表达的信心没有统计上的可靠益处。研究发现，自我一致性可能会放大共享的误解。对100个信心标记的传记声明的审计进一步发现，支持与反驳声明之间的信心差距仅为适度。这些结果表明，有用的自我报告仍然对引导、相关错误和基准噪声敏感。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在生成内容时自报告信心的可靠性问题。现有方法在信心表达的准确性和一致性上存在不足，难以判断其是否真实反映模型的预测能力。
核心思路：论文提出分析三种训练无关的信号，包括直接的信心表达、事后概率和多次生成的一致性，以评估其在预测正确性方面的有效性。通过对比这些信号，旨在揭示自报告信心的潜在问题和局限性。
技术框架：研究采用了对100个TriviaQA问题进行分析的框架，主要模块包括信心表达的直接评估、事后概率计算和多样本生成一致性分析。通过审计错误和信心标记的声明，进一步验证模型的表现。
关键创新：论文的创新点在于首次系统性地分析了训练无关信号在语言模型自报告信心中的作用，揭示了直接信心表达的强大基线和三样本一致性的局限性。
关键设计：在实验中，使用AUROC作为性能评估指标，直接信心表达的AUROC分别达到0.956和0.937，而三样本一致性仅为0.765和0.790，显示出显著的性能差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，直接的信心表达在正确性预测上表现优异，AUROC分别达到0.956和0.937，而三样本一致性显著较弱，仅为0.765和0.790。此外，信心得分的变化范围为0.043到0.084，显示出自我报告对引导的敏感性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统和信息检索等。通过提高语言模型自报告信心的可靠性，可以增强用户对模型输出的信任度，进而提升实际应用的效果和用户体验。未来，研究结果可能推动更为精确的信心评估方法的发展。
📄 摘要（原文）
Large language models can report a numerical confidence together with generated content, but it is unclear whether this report is more than calibrated rhetoric. We analyze three training-free signals: confidence verbalized with the answer, post-hoc $P(\mathrm{True})$, and agreement with three additional generations on the same 100 TriviaQA questions for two model families. Direct verbalization is a surprisingly strong baseline: after auditing benchmark errors, it reaches AUROC 0.956 and 0.937 for correctness prediction. Three-sample agreement is substantially weaker (0.765 and 0.790), and a fixed interpolation with verbalized confidence has no statistically reliable benefit. Four of nine errors from one model and two of eight from the other receive unanimous sample support, showing that self-consistency can amplify shared misconceptions. Re-eliciting confidence for the same fixed answers with equivalent prompts changes scores by 0.043 to 0.084 on average and flips 4\% to 9\% of decisions at a 0.8 threshold. An exploratory audit of 100 confidence-tagged biography claims further finds only a modest confidence gap between supported and contradicted claims. These results argue that useful self-reports remain sensitive to elicitation, correlated errors, and benchmark noise.