When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment

📄 arXiv: 2609.35074v1 📥 PDF

作者: Zhaohan Zhang, Junjie Liu, Chengzhengxu Li, Chen Shen, Xiaoming Liu, Chao Shen, Jieping Ye, Ziquan Liu, Ioannis Patras

分类: cs.CL

发布日期: 2026-09-28

备注: 27 pages

💡 一句话要点

提出ConfLens框架以解决模型早期自信导致的推理捷径问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 捷径推理 信心估计 分布式评分 推理过程监测 人工智能 自然语言处理

📋 核心要点

  1. 现有方法主要关注文本痕迹或最终结果，难以有效检测模型在推理过程中的捷径推理行为。
  2. 提出ConfLens框架，通过跟踪模型在推理过程中的信心演变，利用DACS评估答案承诺的分布特征。
  3. 实验结果显示，ConfLens结合DACS在捷径推理检测上提升了4.3%的F1分数，改善了奖励模型的偏好一致性。

📝 摘要（中文）

大型语言模型（LLM）的推理轨迹常被视为其内部推理的口头描述。然而，这些轨迹可能并不真实：模型可能依赖捷径得出答案，然后用看似连贯的思路进行后期理性化。检测这种捷径推理具有挑战性，因为现有监测工具主要检查文本痕迹或最终结果，而不是模型在生成过程中的信念发展。我们提出了ConfLens框架，跟踪最终答案在推理过程中的信心演变。在三种捷径推理设置中，我们观察到一种普遍的早期自信模式，捷径样本在推理早期阶段对最终答案表现出高度自信。现有的信心估计方法在检测这种行为时表现出有限的通用性和可靠性。因此，我们提出了分布式答案承诺评分（DACS），它在每个推理步骤中测量模型对答案承诺的概率分布的熵。DACS捕捉了模型答案信念的集中程度，而无需真实答案或特定任务的验证器。实验表明，ConfLens结合DACS在捷径推理检测上比强基线提高了4.3%的F1分数，并减少了奖励模型偏好中的真实度与正确性之间的不匹配。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在推理过程中可能出现的捷径推理问题，现有方法往往无法有效监测模型在生成过程中的信念变化，导致检测不准确。

核心思路：提出ConfLens框架，通过跟踪模型在推理过程中的信心演变，利用分布式答案承诺评分（DACS）来评估模型对答案的信念集中程度，从而识别捷径推理行为。

技术框架：ConfLens框架包含信心跟踪模块和DACS计算模块。信心跟踪模块实时监测模型在每个推理步骤的信心变化，而DACS模块则计算模型对答案承诺的概率分布的熵。

关键创新：DACS作为一种新的信心估计方法，能够在不依赖真实答案的情况下，准确捕捉模型信念的集中程度，显著提高了捷径推理的检测能力。

关键设计：DACS的设计包括对模型输出的概率分布进行熵计算，参数设置上关注于模型的输出稳定性和信心变化的敏感性，确保在不同推理任务中均能有效应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ConfLens结合DACS在捷径推理检测上比强基线提高了4.3%的F1分数，显著改善了模型在推理过程中的信心评估，减少了奖励模型偏好中的真实度与正确性之间的差异。这一成果展示了新方法在提升模型推理质量方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和数学推理等任务，能够帮助提升大型语言模型的推理可靠性，减少因捷径推理带来的错误决策，从而在实际应用中提供更高的准确性和信任度。未来，该方法可能对模型的训练和评估过程产生深远影响，促进更可信的人工智能系统的开发。

📄 摘要（原文）

The reasoning trajectory of a Large Language Model (LLM) is often treated as a verbalized description of its internal reasoning. However, such trajectories can be unfaithful: a model may rely on shortcuts to reach an answer and then post-rationalize the decision with a seemingly coherent chain of thought. Detecting this shortcut reasoning is challenging because existing monitors and verifiers mainly inspect textual traces or final outcomes, rather than how the model's belief in its answer develops during generation. We introduce ConfLens, a framework that tracks the evolution of confidence in the final answer throughout reasoning. Across three shortcut reasoning settings, we observe a common pattern of premature confidence, where shortcut samples become highly confident in the final answer at early reasoning stages. Existing confidence estimation methods, however, show limited generalizability, reliability, or efficiency for detecting this behavior. We therefore propose the Distributional Answer Commitment Score (DACS), a distributional confidence estimator that measures the entropy of the model's probability distribution over answer commitment at each reasoning step. DACS captures how concentrated the model's answer belief is without requiring ground-truth answers or task-specific verifiers. We further convert ConfLens detection results into interpretable signals for reward models to reduce their preference for shortcut reasoning. Experiments on mathematical and code reasoning tasks show that ConfLens with DACS improves shortcut reasoning detection by over 4.3% F1 compared with strong baselines and reduces the mismatch between faithfulness and correctness in reward model preferences.