Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models
作者: Renuka Oladri, Niveda Jawahar, Abdirisak Mohamed
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-07-23
💡 一句话要点
提出机制以早期检测链式思维模型的推理非收敛问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 推理模型 收敛性检测 内部表示 激活值分析
📋 核心要点
- 现有链式思维模型在推理过程中存在双峰收敛模式，导致生成结果的有效性差异显著。
- 论文提出通过分析模型内部表示，早期检测推理非收敛的可能性，以提高生成效率。
- 实验结果表明，模型在特定令牌位置的激活值能够有效预测收敛性，且性能优于传统基线方法。
📝 摘要（中文）
链式思维推理模型如DeepSeek-R1-Distill-Qwen-7B展现出双峰收敛模式：生成结果要么在令牌预算内终止（收敛），要么耗尽预算而未达成结论（非收敛）。我们通过实证分析这一现象，发现收敛生成的准确率为90.3%，而非收敛的仅为6.6%，整体收敛率为62.0%。我们进一步探讨是否可以通过内部模型表示在思维链的早期阶段检测这一结果。通过在隐藏状态激活上训练线性探针，我们发现第20层在第150个令牌的激活值达到AUC 0.608，且在第50个令牌时也显著高于随机水平。这些发现表明，收敛的命运在生成结束之前的中间表示中部分编码，为早期退出推理和自适应计算分配开辟了新路径。
🔬 方法详解
问题定义：本论文旨在解决链式思维模型在推理过程中出现的非收敛问题，现有方法未能有效识别生成过程中的收敛性，导致资源浪费和效率低下。
核心思路：通过分析模型的内部表示，尤其是隐藏状态的激活值，来早期检测生成是否会收敛，从而实现更高效的计算资源分配。
技术框架：研究采用线性探针方法，在模型的隐藏状态激活上进行训练，重点关注令牌位置50-300的激活值，尤其是第20层的激活情况。
关键创新：本研究的创新在于通过内部表示的激活值来预测收敛性，提供了一种新的视角来理解模型的推理过程，与传统基于行为的基线方法相比，具有更高的预测能力。
关键设计：在实验中，使用了5折交叉验证来评估模型性能，激活探针在第150个令牌的AUC值达到0.608，且在第50个令牌时也显著高于随机水平，表明设计的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，收敛生成的准确率高达90.3%，而非收敛的仅为6.6%。通过激活探针的AUC值达到0.608，且在第50个令牌时显著高于随机水平，表明该方法在预测收敛性方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和自动生成内容等。通过早期检测推理非收敛，能够有效优化计算资源，提高模型的响应速度和生成质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Chain-of-thought reasoning models such as DeepSeek-R1-Distill-Qwen-7B exhibit a bimodal convergence pattern: generations either terminate within a token budget (converged) or exhaust it without reaching a conclusion (non-converged). We characterize this phenomenon empirically, showing that converged generations achieve 90.3% accuracy on AIME 1983-2024 while non-converged ones achieve only 6.6%, with an overall convergence rate of 62.0%. We then ask whether this outcome is detectable early in the thinking chain using internal model representations. Training linear probes on hidden-state activations at token positions 50-300, we find that layer-20 activations at token 150 achieve AUC 0.608 (+-0.080, 5-fold CV), reliably above chance even at token 50. Activation probes consistently outperform behavioral baselines derived from token entropy and repetition statistics. A sweep-level permutation test yields p=0.063 (100,000 permutations), consistent with a modest signal that our sample size cannot confirm at conventional thresholds. These findings suggest that convergence fate is partially encoded in intermediate representations well before the generation ends, opening a path toward early-exit inference and adaptive compute allocation.