Beyond Calibration: Temporal LLM Confidence Assessment Across Languages and Local Settings

📄 arXiv: 2610.27702v1 📥 PDF

作者: Sahil Kale

分类: cs.CL, cs.AI

发布日期: 2026-10-20

备注: 10 pages, 7 figures, WiNLP @ EMNLP 2026

💡 一句话要点

提出跨语言和本地设置的时序LLM信心评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信心评估 跨语言 本地知识 认知一致性 元记忆理论 推理任务

📋 核心要点

  1. 现有大型语言模型在自我评估信心时存在校准不足的问题，尤其在非英语环境中表现不佳。
  2. 本文提出了一种区分预解决和后解决信心的新方法，借鉴经典的元记忆理论，以提高信心信号的可靠性。
  3. 实验结果表明，后解决信心在多个领域中提供了更强的认知一致性，尽管其推理成本较高。

📝 摘要（中文）

大型语言模型（LLM）需要能够评估自身的不确定性，以便在检索、计算分配、路由和选择性放弃等任务中提供信心信号。本文研究了在不同时间阶段测量的信心信号是否编码了不同形式的认知信息，并在非英语环境中是否仍然可靠。我们区分了预解决信心（感觉知晓，FOK）与后解决信心（学习判断，JOL）。通过对两种前沿LLM、多个推理领域、翻译的马拉地语基准以及新构建的本地马拉地语事实问题基准进行评估，发现预解决信心信号校准较弱，而后解决信心提供了更强的认知一致性。信心行为在语言翻译下表现良好，但在本地知识上显著下降，表明语言转移不足以满足地区特定的信息需求。最后，生成的幻觉响应在答案生成后保持较高的信心，揭示了当前LLM自我评估机制的重要局限性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在不同语言和本地设置下自我评估信心的可靠性问题。现有方法在非英语环境中表现不佳，尤其是在处理地方性知识时。

核心思路：论文通过区分预解决信心（FOK）和后解决信心（JOL），探讨不同时间阶段的信心信号所传达的认知信息，以提高模型的信心校准能力。

技术框架：研究采用了两种前沿的LLM，结合多个推理领域和翻译的马拉地语基准，构建了新的本地马拉地语事实问题基准，评估信心信号的表现。

关键创新：最重要的创新在于将预解决信心与后解决信心进行区分，发现后者在认知一致性上表现更佳，且在语言翻译中保持了较好的校准趋势。

关键设计：实验中采用了多种推理任务和语言翻译，重点关注信心信号的校准程度和在本地知识上的表现，揭示了当前LLM自我评估机制的局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，后解决信心在多个领域中提供了更强的认知一致性，相较于预解决信心，后者的推理成本虽然较高，但在校准能力上表现更佳。此外，信心行为在语言翻译中保持良好，但在处理本地马拉地语知识时显著下降，表明语言转移不足以满足特定信息需求。

🎯 应用场景

该研究的潜在应用领域包括多语言信息检索、智能问答系统和自适应计算资源分配等。通过提高大型语言模型在不同语言和本地环境中的信心评估能力，可以显著提升其在实际应用中的可靠性和有效性，推动跨文化和地区的人工智能技术发展。

📄 摘要（原文）

Large language models are expected to estimate their own uncertainty, with confidence signals used to guide retrieval, adaptive compute allocation, routing, and selective abstention. We investigate whether confidence signals measured at different temporal stages of problem solving encode distinct forms of epistemic information and remain reliable beyond English-centric settings. Inspired by classical meta-memory theory, we distinguish anticipatory pre-solve confidence (Feeling-of-Knowing, FOK) from retrospective post-solve confidence (Judgement-of-Learning, JOL). We evaluate these signals across two frontier LLMs, multiple reasoning domains, translated Marathi benchmarks, and a newly constructed benchmark of genuinely local Marathi factual questions. Across settings, the cheaper pre-solve signal remains weakly calibrated, while post-solve confidence generally provides stronger epistemic alignment despite its additional inference cost. Confidence behaviour transfers surprisingly well under direct language translation, with calibration trends largely preserved between English and Marathi, but degrades substantially on local Marathi knowledge, suggesting that linguistic transfer alone is insufficient for region-specific information needs. Finally, hallucinated responses maintain persistently elevated confidence after answer generation, highlighting important limitations of current LLM self-assessment mechanisms.