Correct Answers, Invalid Traces: What Verifiable Grade-School Math Reveals About Chain-of-Thought Traces
作者: Ratish Puduppully, Pranabendu Misra, Paarth Iyer, Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati
分类: cs.CL, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出iGSM基准以验证链式思维的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 数学基准 推理验证 AI安全 模型训练
📋 核心要点
- 现有方法难以验证自然语言思维追踪的有效性，导致推理过程的透明性不足。
- 提出iGSM基准，通过合成数学问题使得思维追踪可以逐步程序化检查，验证答案与追踪的有效性。
- 实验结果显示，31.6%的正确答案伴随无效追踪，且打乱训练追踪仍能保持高准确率，揭示了链式思维的潜在问题。
📝 摘要（中文）
链式思维追踪被广泛视为模型推理过程的记录，然而自然语言思维追踪的机械验证极为困难。本文提出了iGSM，一个合成的基础数学基准，旨在研究思维追踪并支持学习推理和规划的声明。iGSM能够精确暴露正确解答所需的数量和依赖关系，从而使生成的追踪可以逐步程序化检查。研究发现，在最难的实例中，31.6%的正确答案伴随无效追踪，且许多追踪在语法和算术检查中通过，但在语义依赖检查中失败。通过对追踪监督的干预，发现非最小训练追踪会导致非最小输出，且打乱训练追踪中的部分句子仍能保持高准确率，尽管没有追踪通过验证。本文讨论了这些发现对链式思维监控和解释在AI安全背景下的影响。
🔬 方法详解
问题定义：本文旨在解决链式思维追踪的有效性验证问题。现有方法缺乏机械验证手段，导致推理过程的透明性和可靠性不足。
核心思路：通过引入iGSM基准，提供一个合成的数学问题环境，使得思维追踪可以被程序化地逐步检查，从而验证答案的正确性与追踪的有效性。
技术框架：整体架构包括数据生成、模型训练和追踪验证三个主要模块。数据生成阶段使用合成数学问题，模型训练阶段专注于有效追踪的学习，追踪验证阶段则通过程序化检查追踪的有效性。
关键创新：最重要的技术创新在于iGSM基准的提出，使得链式思维追踪的有效性可以被明确验证。这与现有方法的本质区别在于提供了可验证的数学基础。
关键设计：在训练过程中，采用最小追踪作为监督信号，设计了特定的损失函数以鼓励模型生成有效的思维追踪。此外，实验中对训练追踪的打乱和重组进行了探索，以评估其对模型输出的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在最难的实例中，31.6%的正确答案伴随无效追踪，且超过一半的追踪在语法和算术检查中通过，但在语义依赖检查中失败。此外，打乱训练追踪的实验表明，模型在没有有效追踪的情况下仍能保持高准确率，揭示了链式思维的潜在问题。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和AI安全性评估。通过验证模型的推理过程，可以提高教育工具的可靠性，确保AI系统在关键任务中的决策透明性和可解释性。
📄 摘要（原文）
Chain-of-thought traces are widely read as records of how models reach their answers, informing debugging, agent auditing, and claims about reasoning. Testing this interpretation is difficult because natural-language thinking traces are rarely mechanically verifiable. We revisit it in iGSM, a synthetic grade-school mathematics benchmark designed to study thinking traces and used to support claims of learned reasoning and planning. Crucially, iGSM exposes the exact quantities and dependencies that a correct solution should use, allowing generated traces to be checked programmatically step by step and enabling us to test whether correct answers are reliably accompanied by valid traces. We first evaluate models trained exclusively on valid, minimal traces. Answer correctness and trace validity nearly coincide in distribution but decouple out of distribution: on the hardest instances, 31.6% of correct answers have invalid traces, over half of which pass all syntactic and arithmetic checks but fail semantic dependency checks. We then intervene on trace supervision. Non-minimal training traces induce non-minimal outputs, while re-asking the same problem with a different query reveals computations inherited from the original query, weakening minimality as evidence of selective planning. Shuffling tokens in 10% of training trace sentences preserves near-clean accuracy even out of distribution despite no trace passing verification. Swapped training traces likewise retain high in-distribution accuracy. We discuss the implications of these findings for chain-of-thought monitoring and interpretation in the context of AI safety.