Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models
作者: Jungseob Lee, Seungyoon Lee, Suhyune Son, Dongyub Jude Lee, Sungbin Han, Sugyeong Eo, Heuiseok Lim
分类: cs.CL, cs.AI
发布日期: 2026-07-16
备注: 13 pages, 4 figures, 14 tables. Code: https://github.com/js-lee-AI/answer-leakage
💡 一句话要点
提出新方法以解决大语言模型推理蒸馏中的数据降解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 推理蒸馏 答案条件化 数据质量 可验证推理 实验设计 模型训练
📋 核心要点
- 现有的推理能力蒸馏方法在使用答案条件化时，会导致生成链条的推理质量下降，影响模型的可验证性。
- 论文提出了一种新的实验设计，通过控制生成过程中的变量，探讨答案条件化对推理链条质量的影响。
- 实验结果显示，使用答案条件化的链条导致推理准确性下降，尤其在难度较大的问题上，准确性下降幅度可达27个百分点。
📝 摘要（中文）
本文探讨了在大语言模型（LLMs）推理能力蒸馏过程中，使用答案条件化链条会导致训练数据质量下降的问题。研究表明，当生成模型在已知答案的情况下进行推理时，其生成的链条往往是向后推理而非从头推导，导致可验证推理准确性显著降低。通过控制实验，发现这种数据降解现象在不同模型和任务中普遍存在，且无法通过常规的正确性过滤器检测到。最终，建议在生成过程中避免使用答案提示，以提高数据质量。
🔬 方法详解
问题定义：本文旨在解决在大语言模型推理蒸馏中，答案条件化导致的数据质量下降问题。现有方法在使用已知答案进行生成时，未能有效识别生成链条的推理过程缺陷。
核心思路：论文的核心思路是通过控制实验变量，分析答案条件化对推理链条的影响，发现其导致的推理准确性下降是数据本身的属性，而非生成器的缺陷。
技术框架：整体实验设计包括固定生成器、问题集和正确性过滤器，仅改变是否在答案条件化下生成链条。通过对比不同生成方式的推理准确性，评估答案条件化的影响。
关键创新：最重要的技术创新在于揭示了答案条件化导致的推理链条质量下降的机制，强调了生成过程中数据的本质属性对模型性能的影响。
关键设计：实验中使用了多个思维模型和教师模型，评估了不同条件下生成链条的表现，发现向后推理的链条在早期最终答案声明中表现出明显的可测量症状。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用答案条件化的推理链条在可验证推理准确性上显著下降，尤其在难度较大的问题上，准确性下降幅度可达27个百分点。这一发现强调了生成过程中的数据质量对模型性能的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提高大语言模型的推理能力，能够在更复杂的任务中提供更准确的答案，进而提升用户体验和系统的智能水平。未来，该研究可能影响模型训练的标准流程，推动更高效的推理能力蒸馏方法的发展。
📄 摘要（原文）
A standard recipe for distilling the reasoning ability of large language models (LLMs) is to sample chains of thought from the model, keep those that reach the correct final answer, and fine-tune on the survivors. When sampling fails, a common fix shows the generator the gold answer and asks it to write a chain that reaches that answer. We show that this second step degrades the training data in a way that correctness filtering cannot catch. We run a controlled experiment that fixes the generator, the problem set, and the correctness filter, and varies only whether the chain is generated under answer-conditioning, the gold answer shown with a request to reach it. Training a strong instruction-tuned reasoning model on its own answer-conditioned chains sharply lowers its verifiable-reasoning accuracy. The loss grows with difficulty, reaching as much as about 27 points on the hardest competition problems. The mechanism is legible in the chains themselves, which rationalize backward from the shown answer instead of deriving it, with the early final-answer statement as the measurable symptom. The harm is a property of the data rather than the generator, read off unlabeled generations before any fine-tuning, ordering the penalty across eight thinking models from four families, and transferring across teacher families. A prompt ablation localizes it to the rationalize-toward instruction rather than the answer's bare visibility. The practical takeaway is to generate answer-blind, because no correctness filter can see this damage in the data.