Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models
作者: Xiaoyu Luo, Tao Ren, Wenrui Yu, Xiao Li, Qiongxiu Li, Johannes Bjerva
分类: cs.CL, cs.AI, cs.CR
发布日期: 2026-09-22
备注: 33 pages,14 figures
💡 一句话要点
提出一种新方法以提取和表征前沿模型中的隐性推理链
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推理链提取 前沿语言模型 中间推理 性能评估 推理结构分析
📋 核心要点
- 现有方法无法验证前沿语言模型的推理能力，因为闭源系统中的推理链不可见。
- 论文通过自定义工具诱导模型外化中间推理，并与开源模型的原生推理进行比较。
- 实验结果显示提取的推理在多个领域显著优于无推理基线，提供了新的行为分析视角。
📝 摘要（中文）
前沿语言模型的能力提升广泛归因于推理能力的改善，但由于闭源系统中原始推理链不可见，无法验证这一点。通过标准API功能注册简单的自定义工具，我们诱导前沿模型外化中间推理。由于这些推理链可能反映事后理性而非真实推理，我们首先在开源模型上与原生推理进行评估，并扩展到包括GPT-6 Astra在内的闭源前沿模型。我们发现提取的推理与原生推理表现相匹配，并在数学、科学和代码生成等领域显著优于无推理基线。随后，我们对前沿模型如何构建中间推理进行了特征化，识别出模型在外化、压缩和组织推理方面的系统性差异。Astra展示了高效的定向推理，较早选择正确轨迹，同时内部解决基本步骤，仅外化关键推理。这些发现为前沿模型的推理提供了超越基准分数的行为视角。
🔬 方法详解
问题定义：本论文旨在解决前沿语言模型中推理链不可见的问题，现有方法无法验证其推理能力的真实性和有效性。
核心思路：通过注册自定义工具，诱导前沿模型外化中间推理链，并与开源模型的原生推理进行对比，以评估其推理能力。
技术框架：整体架构包括自定义工具的设计、推理链的提取、与原生推理的比较以及对推理结构的特征化分析。主要模块包括推理链提取模块、性能评估模块和推理结构分析模块。
关键创新：最重要的创新在于通过外化中间推理链来验证前沿模型的推理能力，提供了一种新的评估方法，超越了传统的基准测试。
关键设计：在参数设置上，设计了高效的推理链提取算法，损失函数采用了与推理质量相关的指标，网络结构则结合了推理树的构建与分析。具体细节包括推理步骤的分类和推理树的优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提取的推理链在数学、科学和代码生成任务中显著优于无推理基线，且与原生推理性能相匹配，展示了Astra模型在推理效率和准确性上的优势。
🎯 应用场景
该研究的潜在应用领域包括教育、科学研究和软件开发等，能够帮助用户理解和优化前沿语言模型的推理过程，从而提升模型在复杂任务中的表现。未来可能影响模型设计和评估标准，推动更透明的AI系统发展。
📄 摘要（原文）
The rapid capability gains of frontier language models are widely attributed to improved reasoning abilities, yet this cannot be verified as raw CoT traces in closed-source systems are hidden. By registering a simple custom tool through a standard API feature, we induce frontier models to externalize intermediate reasoning. Because these traces may reflect post-hoc rationalization rather than genuine reasoning, we first evaluate against native CoT on open-source models and extend to closed-source frontier models including GPT-6 Astra. We find that the extracted reasoning matches native reasoning performance and substantially outperforms no-reasoning baselines, across competition mathematics, science, and code generation. We then characterize how frontier models structure their intermediate reasoning. Across token efficiency, reasoning-step types, and induced reasoning trees, we identify systematic differences in how models externalize, compress, and organize reasoning. We find that Astra exhibits token-efficient directed reasoning, selecting a correct trajectory earlier, while resolving elementary steps internally and externalizing only crucial reasoning. These findings provide a behavioral lens on frontier-model reasoning beyond benchmark scores.