Probing for Arithmetic Errors in Language Models

📄 arXiv: 2507.12379v1 📥 PDF

作者: Yucheng Sun, Alessandro Stolfo, Mrinmaya Sachan

分类: cs.CL, cs.AI

发布日期: 2025-07-16

💡 一句话要点

利用语言模型内部激活探测算术错误并指导模型自纠错

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 算术错误检测 探针 自纠错 思维链 重新提示 内部激活 可解释性

📋 核心要点

  1. 现有语言模型在算术推理中容易出错，缺乏有效的错误检测和纠正机制。
  2. 通过训练探针从模型内部激活中解码预测输出和正确答案，从而检测算术错误。
  3. 实验表明，该方法能有效检测错误，并指导选择性重新提示，提高任务准确性。

📝 摘要（中文）

本文研究了语言模型内部激活是否能用于检测算术错误。首先，在可控的三位数加法环境中，我们展示了简单的探针可以准确地从隐藏状态解码模型的预测输出和正确答案，无论模型的输出是否正确。在此基础上，我们训练了轻量级的错误检测器，其预测模型正确性的准确率超过90%。然后，我们将分析扩展到仅加法的GSM8K问题的结构化思维链追踪，发现经过简单算术训练的探针可以很好地推广到这种更复杂的环境中，揭示了一致的内部表示。最后，我们证明了这些探针可以指导对错误推理步骤的选择性重新提示，从而在最小程度干扰正确输出的情况下提高任务准确性。我们的研究结果表明，仅从内部激活就可以预测算术错误，并且简单的探针为轻量级模型自纠错提供了一条可行的途径。

🔬 方法详解

问题定义：论文旨在解决语言模型在进行算术运算时容易出错的问题。现有方法通常依赖于外部监督或复杂的模型结构，缺乏一种轻量级且高效的错误检测机制。该论文关注如何利用语言模型内部的知识来识别和纠正这些错误。

核心思路：核心思路是，即使语言模型给出了错误的答案，其内部的隐藏状态仍然可能包含正确的信息。因此，可以通过训练简单的探针来从隐藏状态中提取这些信息，从而判断模型是否犯了错误。这种方法不需要额外的监督信号，并且可以作为一种轻量级的错误检测器。

技术框架：整体框架包括三个主要步骤：1) 使用语言模型进行算术运算，例如三位数加法或GSM8K问题。2) 从语言模型的隐藏状态中提取激活值。3) 训练探针（通常是简单的线性模型）来预测模型的输出和正确答案。然后，使用这些探针来构建错误检测器，该检测器预测模型输出的正确性。最后，利用错误检测器来指导选择性重新提示，以纠正错误的推理步骤。

关键创新：关键创新在于利用探针来解码语言模型内部的知识，从而实现轻量级的错误检测和纠正。与现有方法相比，该方法不需要额外的监督信号，并且可以很好地推广到不同的算术任务中。此外，该方法还提出了一种选择性重新提示的策略，可以有效地纠正错误的推理步骤，而不会对正确的输出产生太大的影响。

关键设计：探针通常是简单的线性模型，例如逻辑回归或线性回归。损失函数通常是交叉熵损失或均方误差损失，具体取决于要预测的目标（例如，模型的输出或正确答案）。在选择性重新提示方面，关键在于确定哪些推理步骤是错误的，并只对这些步骤进行重新提示。这可以通过比较探针预测的输出和实际输出，或者通过分析探针的置信度来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，简单的探针可以准确地从隐藏状态解码模型的预测输出和正确答案，错误检测器的准确率超过90%。在GSM8K数据集上，该方法可以有效地纠正错误的推理步骤，提高任务准确性，同时最小化对正确输出的干扰。该方法具有良好的泛化能力，可以应用于不同的算术任务。

🎯 应用场景

该研究成果可应用于提升语言模型在算术推理、逻辑推理等任务中的可靠性。通过集成轻量级错误检测和自纠错机制，可以显著提高模型在实际应用中的性能，例如智能客服、金融分析、科学计算等领域，减少错误信息带来的负面影响。

📄 摘要（原文）

We investigate whether internal activations in language models can be used to detect arithmetic errors. Starting with a controlled setting of 3-digit addition, we show that simple probes can accurately decode both the model's predicted output and the correct answer from hidden states, regardless of whether the model's output is correct. Building on this, we train lightweight error detectors that predict model correctness with over 90% accuracy. We then extend our analysis to structured chain-of-thought traces on addition-only GSM8K problems and find that probes trained on simple arithmetic generalize well to this more complex setting, revealing consistent internal representations. Finally, we demonstrate that these probes can guide selective re-prompting of erroneous reasoning steps, improving task accuracy with minimal disruption to correct outputs. Our findings suggest that arithmetic errors can be anticipated from internal activations alone, and that simple probes offer a viable path toward lightweight model self-correction.