When Reasoning Traces Become Performative: Step-Level Evidence that Chain-of-Thought Is an Imperfect Oversight Channel

📄 arXiv: 2605.11746v1 📥 PDF

作者: Wenkai Li, Fan Yang, Ananya Hazarika, Shaunak A. Mehta, Koichi Onoue

分类: cs.AI

发布日期: 2026-05-12

💡 一句话要点

揭示思维链推理过程中的不一致性：推理轨迹并非完美监督通道

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链推理 可解释性 语言模型 推理轨迹 答案承诺

📋 核心要点

  1. 现有思维链(CoT)方法假设推理轨迹与模型计算过程同步，但这一假设缺乏充分验证。
  2. 论文提出“检测-分类-比较”框架，通过答案承诺代理来检测CoT推理过程中的不一致性。
  3. 实验表明，CoT推理过程中存在大量虚构延续现象，且CoT效用与时间忠实度之间存在负相关。

📝 摘要（中文）

思维链(CoT)推理轨迹越来越多地被用于提升语言模型能力和审计模型行为，但其隐含假设是可见的轨迹与决定答案的计算过程同步。本文通过一个步级的“检测-分类-比较”框架来检验这一假设，该框架围绕一个答案承诺代理构建，并通过Patchscopes、tuned-lens probes和因果方向消融进行交叉验证。在九个模型和七个推理基准测试中，潜在承诺和显式答案到达平均仅在61.9%的步骤上对齐。主要的错配模式是虚构延续：58.0%的检测到的错配事件发生在答案承诺代理已经稳定之后，而轨迹继续产生看起来是审慎的文本，并且空洞性分析表明，在这些步骤中，承诺的答案没有改变。在架构匹配的Qwen2.5/DeepSeek-R1-Distill比较中，推理管道改变了失败组成，而不是聚合对齐，在32B处最为明显，虚构步骤减少，而矛盾状态增加。较低的步级对齐也与较大的CoT效用相关联，这表明最受益于CoT的设置通常在时间上最不忠实。配对截断和互补的捐赠者腐败测试进一步表明，许多承诺后的文本对于最终答案来说不是负载承担的。这些发现表明，CoT仍然有用，但仍然是答案何时形成的不可靠报告。

🔬 方法详解

问题定义：论文旨在解决思维链(CoT)推理中，可见推理轨迹与模型实际计算过程不同步的问题。现有方法默认CoT轨迹能够准确反映模型的推理过程，但这种假设可能导致对模型行为的误解和不准确的审计。现有方法缺乏对CoT轨迹时间一致性的有效评估手段。

核心思路：论文的核心思路是构建一个步级的分析框架，通过代理指标（答案承诺代理）来检测模型在推理过程中的每个步骤中是否已经确定了答案。如果模型已经确定答案，但CoT轨迹仍然继续生成看似合理的推理步骤，则表明CoT轨迹与实际计算过程存在不一致性。通过比较答案承诺代理的输出和显式答案的生成时间，可以量化这种不一致性。

技术框架：论文提出的框架包含以下三个主要阶段： 1. 检测(Detect)：使用答案承诺代理来检测模型在每个推理步骤中是否已经确定了答案。 2. 分类(Classify)：将检测到的不一致事件分类为不同的类型，例如虚构延续（模型已经确定答案，但继续生成无意义的推理步骤）和矛盾状态（模型在推理过程中改变了答案）。 3. 比较(Compare)：比较不同模型和不同设置下的不一致性模式，并分析其与CoT效用之间的关系。同时，使用Patchscopes、tuned-lens probes和因果方向消融等技术来验证答案承诺代理的有效性。

关键创新：论文的关键创新在于提出了一个步级的分析框架，能够量化CoT推理过程中可见轨迹与实际计算过程之间的不一致性。通过答案承诺代理，可以有效地检测模型何时已经确定答案，从而揭示CoT轨迹中的虚构延续现象。此外，论文还发现CoT效用与时间忠实度之间存在负相关关系，这表明在某些情况下，CoT轨迹可能是有用的，但同时也是不可靠的。

关键设计： * 答案承诺代理：使用一个轻量级的分类器，基于模型在每个推理步骤的隐藏状态来预测最终答案。该分类器通过在训练集上进行训练，学习将隐藏状态映射到答案的概率分布。 * 空洞性分析：通过截断CoT轨迹的不同部分，并观察最终答案是否发生变化，来评估CoT轨迹中每个步骤的重要性。 * 捐赠者腐败测试：将CoT轨迹的不同部分替换为来自其他样本的CoT轨迹，并观察最终答案是否发生变化，来评估CoT轨迹中每个步骤的贡献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在九个模型和七个推理基准测试中，潜在承诺和显式答案到达平均仅在61.9%的步骤上对齐。58.0%的检测到的错配事件发生在答案承诺代理已经稳定之后，表明存在大量的虚构延续现象。此外，较低的步级对齐与较大的CoT效用相关联，表明CoT效用与时间忠实度之间存在负相关关系。

🎯 应用场景

该研究成果可应用于提升语言模型的可解释性和可靠性。通过识别CoT推理过程中的不一致性，可以改进CoT方法，使其更加忠实地反映模型的实际推理过程。此外，该研究还可以帮助开发更有效的模型审计工具，以确保模型行为符合预期，并减少模型产生错误或有害输出的风险。

📄 摘要（原文）

Chain-of-thought (CoT) traces are increasingly used both to improve language model capability and to audit model behavior, implicitly assuming that the visible trace remains synchronized with the computation that determines the answer. We test this assumption with a step-level Detect-Classify-Compare framework built around an answer-commitment proxy that is cross-validated with Patchscopes, tuned-lens probes, and causal direction ablation. Across nine models and seven reasoning benchmarks, latent commitment and explicit answer arrival align on only 61.9% of steps on average. The dominant mismatch pattern is confabulated continuation: 58.0% of detected mismatch events occur after the answer-commitment proxy has already stabilized while the trace continues producing deliberative-looking text, and a vacuousness analysis shows that the committed answer does not change during these steps. In architecture-matched Qwen2.5/DeepSeek-R1-Distill comparisons, the reasoning pipeline changes failure composition more than aggregate alignment, most clearly at 32B where confabulated steps decrease as contradictory states increase. Lower step-level alignment is also associated with larger CoT utility, suggesting that the settings that benefit most from CoT are often the least temporally faithful. Paired truncation and a complementary donor-corruption test further indicate that much post-commitment text is not load-bearing for the final answer. These findings suggest that CoT can remain useful while still being an unreliable report of when the answer was formed.