CALM: Consistency-Aware Logit Masking in Decoding Space for Mitigating Overthinking of Large Reasoning Models
作者: Shengjing Liu, Feiyang Li, Yuxuan Yang, Yile Wang, Hui Huang
分类: cs.CL
发布日期: 2026-10-19
💡 一句话要点
提出CALM以解决大型推理模型过度思考问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型推理模型 过度思考 logit掩蔽 解码干预 一致性感知 推理效率 性能提升
📋 核心要点
- 现有的推理模型在处理复杂任务时，常因过度思考而导致不必要的推理步骤，影响最终结果。
- 本文提出CALM方法，通过一致性感知的logit掩蔽，抑制冗余推理，允许模型更自然地思考。
- 实验结果显示，CALM在多个基准测试中减少了token消耗，并在准确率上有所提升，表现出良好的效果。
📝 摘要（中文）
大型推理模型（LRMs）在复杂的数学和科学任务中表现出色，但常常因不必要的推理步骤而导致过度思考。现有的基于截断的方法通常依赖于连续试验答案的一致性来强制提前退出，但这种局部停止信号并不一定能指示最终答案的稳定性，可能会打断有用的后续反思或验证，导致性能下降。为此，本文提出了一种训练无关的解码干预方法——一致性感知的logit掩蔽（CALM），通过监控步骤边界的试验答案，并对“等待”、“替代”和“嗯”等动作过渡点进行logit掩蔽，抑制冗余的过渡推理，同时允许模型更自然地继续思考。实验结果表明，CALM在五个基准测试中减少了18.6%-25.0%的token消耗，同时保持性能，甚至提高了0.07%-1.48%的准确率。
🔬 方法详解
问题定义：本文旨在解决大型推理模型在推理过程中出现的过度思考问题。现有方法通常依赖于局部停止信号来截断推理，但这种方法可能导致有用反思的中断和性能下降。
核心思路：CALM通过一致性感知的logit掩蔽技术，监控推理过程中的试验答案，并在特定的动作过渡点进行掩蔽，从而抑制冗余推理，允许模型继续其思考过程。
技术框架：CALM的整体架构包括监控试验答案的步骤边界和应用logit掩蔽于特定的动作过渡点。主要模块包括答案监控模块和logit掩蔽模块。
关键创新：CALM的创新在于其训练无关的解码干预方法，通过一致性感知的logit掩蔽，显著减少冗余推理，与现有的截断方法形成鲜明对比。
关键设计：在设计中，CALM关注于特定的动作过渡点，如“等待”、“替代”和“嗯”，通过对这些点的logit掩蔽来抑制不必要的推理步骤，确保模型能够更自然地进行思考。具体的参数设置和损失函数设计尚未详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CALM在五个基准测试中减少了18.6%-25.0%的token消耗，同时保持了模型性能，甚至在准确率上提高了0.07%-1.48%。这些结果显示了CALM在提高推理效率和结果一致性方面的显著优势。
🎯 应用场景
该研究的潜在应用领域包括教育、科学计算和复杂决策支持系统等。通过减少冗余推理，CALM能够提高大型推理模型在实际应用中的效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large reasoning models (LRMs) have achieved strong performance on challenging mathematical and scientific tasks through long chain-of-thought reasoning, but they often suffer from overthinking with unnecessary reasoning steps. Existing truncation-based methods typically detect consecutive trial-answer agreement and force early exit, yet such local stopping signals do not necessarily indicate final-answer stability and can disrupt useful subsequent reflection or verification, potentially leading to performance degradation. We propose consistency-aware logit masking (CALM), a training-free decoding intervention for mitigating overthinking in LRMs. CALM first monitors trial answers at step boundaries and then applies logit masking to action transition point (ATP) tokens such as "Wait", "Alternatively", and "Hmm", suppressing redundant transitional reasoning while allowing the model to continue its thought process more naturally. Experiments across four advanced LRMs and five benchmarks show that CALM reduces token consumption by 18.6%-25.0% compared with full CoT reasoning while maintaining performance, and can even improve accuracy by 0.07%-1.48% by reducing redundant reasoning. LLM-as-a-Judge results also demonstrate that CALM provides more coherent and concise results.