Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation
作者: Yongcan Yu, Jian Liang, Lingxiao He, Kuangpu Guo, Yanbo Wang, Shuo Lu, Meng Wang, Ran He
分类: cs.CL
发布日期: 2026-10-13
备注: Accepted to NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出行为对齐理论以优化长链思维蒸馏方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长链思维 蒸馏训练 行为对齐 推理能力 模型优化
📋 核心要点
- 现有的长链思维蒸馏方法依赖于事实正确性和广泛的提示覆盖，导致理解机制不清晰。
- 论文提出行为假设，强调推理模式的行为对齐比事实知识的记忆更为重要。
- 实验结果表明，模型在仅使用已掌握问题进行微调时，推理能力仍显著提升，验证了行为对齐的有效性。
📝 摘要（中文）
长链思维（Long-CoT）蒸馏显著提升了语言模型的推理能力，但其机制尚不明确。现有方法依赖于拒绝采样收集推理轨迹，假设事实正确性和广泛问题覆盖是必不可少的。研究发现，仅使用错误推理轨迹或有限的提示集进行训练，模型性能几乎相当。基于这一反直觉发现，论文提出了行为假设：长链思维蒸馏的本质在于与结构化推理模式的行为对齐，而非事实知识的记忆。通过验证，发现即使模型仅在先前掌握的问题上进行微调，推理能力也有显著提升。论文进一步探讨了如何在不同复杂度下最优学习推理模式。
🔬 方法详解
问题定义：本论文旨在解决长链思维蒸馏中推理能力提升的机制不明确的问题。现有方法过于依赖于事实正确性和多样化提示，导致对推理模式的理解不足。
核心思路：论文提出的核心思路是行为对齐，强调通过与结构化推理模式的对齐来提升模型的推理能力，而非单纯依赖于事实知识的记忆。
技术框架：整体架构包括数据收集、模型训练和推理评估三个主要阶段。数据收集阶段使用拒绝采样获取推理轨迹，模型训练阶段则专注于行为对齐，最后通过评估推理能力来验证效果。
关键创新：论文的关键创新在于提出行为假设，强调推理模式的学习是提升模型性能的关键，与传统方法的知识记忆本质上有所区别。
关键设计：在损失函数设计上，采用概率基础损失来学习简单模式，同时使用标准交叉熵损失以扩展到复杂的长链思维推理，确保模型在不同复杂度下的有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在仅使用已掌握问题进行微调时，推理能力显著提升，验证了行为对齐的有效性。与基线模型相比，推理性能提升幅度达到XX%，展示了新方法的优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和推理能力提升等。通过优化长链思维蒸馏方法，能够提升语言模型在复杂推理任务中的表现，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
While long chain-of-thought (CoT) distillation significantly improves the reasoning abilities of language models, its underlying mechanism remains poorly understood. Current pipelines generally rely on rejection sampling to gather reasoning traces across diverse prompts, assuming that factual correctness and broad problem coverage are indispensable. Surprisingly, we find that training exclusively on flawed reasoning trajectories or a restricted prompt set yields nearly comparable performance. Driven by this counterintuitive finding, we propose the Behavioral Hypothesis: the essence of Long-CoT distillation is behavioral alignment with structured reasoning patterns, rather than factual knowledge memorization. We then validate this by demonstrating substantial reasoning gains even when models are fine-tuned exclusively on previously mastered problems-effectively isolating behavioral alignment from novel knowledge injection. Having established that reasoning patterns are the true bottleneck, we investigate how to learn them across varying levels of complexity optimally. We reveal a critical interplay: while the recent probability-based loss excels at learning simple patterns, the standard cross-entropy loss is essential for scaling to complex CoTs. We believe these insights demystify CoT distillation and provide a principled foundation for the future development of reasoning models. Code is available on https://github.com/yuyongcan/Long-CoT-Distillation.