Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability
作者: Samuel Lewis-Lim, Xingwei Tan, Mario Sanger, Zhixue Zhao, Nikolaos Aletras
分类: cs.AI
发布日期: 2026-10-02
备注: Under Review
💡 一句话要点
提出高效推理训练方法以提升CoT的可监控性与可信度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式推理 高效推理 模型可信度 可监控性 自然语言处理
📋 核心要点
- 现有高效推理训练方法可能导致模型跳过重要推理步骤，从而影响链式推理的可信度。
- 本文提出三种不同的长度压力方法，分别为固定生成预算、每个示例的长度目标和组相对长度奖励，以研究其对CoT的影响。
- 实验结果表明，虽然可信度在大多数设置中下降，但可监控性保持相对稳定，模型仍能识别输入干预的影响。
📝 摘要（中文）
链式推理（CoT）使人类能够检查大型语言模型的决策过程，并监督模型行为。然而，现有的高效训练方法可能导致模型跳过重要推理步骤，从而影响CoT的可信度。本文通过对多种模型进行微调，采用不同的长度压力方法，探讨高效推理对CoT可信度和可监控性的影响。研究发现，尽管在大多数情况下可信度下降，但可监控性相对稳健，模型仍能识别输入干预对输出的影响。
🔬 方法详解
问题定义：本文旨在解决高效推理训练对链式推理（CoT）可信度和可监控性影响的问题。现有方法在提高效率的同时，可能导致模型在推理过程中省略重要步骤，影响决策的透明性和可解释性。
核心思路：论文提出通过微调模型，采用三种不同的长度压力方法，以探讨高效推理对CoT的影响。这种设计旨在理解不同方法如何影响模型的推理过程和输出的可解释性。
技术框架：研究采用了多种模型进行微调，具体方法包括固定生成预算、每个示例的长度目标和组相对长度奖励。每种方法在训练过程中施加不同的长度压力，以评估其对CoT的影响。
关键创新：本文的主要创新在于系统性地比较不同长度压力方法对CoT可信度和可监控性的影响，揭示了高效推理训练与模型一致性之间的关系。与现有方法相比，本文提供了更全面的理解。
关键设计：在实验中，模型的长度压力通过不同的策略进行调节，损失函数设计考虑了推理的完整性与效率之间的平衡。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在大多数设置中，模型的可信度下降，主要由于训练后的模型一致性降低。然而，模型的可监控性保持相对稳定，即使在CoT显著缩短的情况下，模型仍能识别输入干预对输出的影响。这表明高效推理训练在某些方面并未完全损害模型的可解释性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和人机交互等。通过提高模型的可监控性和可信度，能够增强用户对模型决策过程的理解，从而提升模型在实际应用中的可靠性和接受度。未来，研究成果可能推动更高效的推理训练方法的发展，促进智能系统的透明性。
📄 摘要（原文）
Chain-of-thought (CoT) reasoning allows humans to inspect how large language models reach their answers, and oversee model behaviour. This reasoning comes at an increased inference cost, motivating efficient methods that train models to solve tasks using fewer tokens. However, a common concern is that such training may cause models to skip important reasoning steps, so the CoT no longer faithfully reflects the model's decision. It is unclear whether or when this occurs in practice, since different efficiency methods apply length pressure to models' CoT in distinct ways, and faithfully explaining a model's decision takes more tokens on some tasks than others. To understand these dynamics, we fine-tune a variety of models with three methods that apply length pressure differently, namely a fixed generation budget, a per-example length target, and a group-relative length reward. We evaluate how efficient reasoning affects CoT faithfulness (i.e., how well the CoT reflects model decisions on related inputs) and monitorability (i.e., whether the CoT reveals when input interventions alter the output). We find that it affects faithfulness and monitorability differently. Faithfulness falls in most settings, primarily because the trained models are less consistent. Monitorability is more robust, as models keep acknowledging the influence on their answer even when the CoT is much shorter.