Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation
作者: Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye
分类: cs.CL
发布日期: 2025-12-24
💡 一句话要点
提出推理蒸馏溯源框架，分析学生模型能力来源并指导数据选择。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 推理蒸馏 知识迁移 模型溯源 数据选择 大型语言模型
📋 核心要点
- 现有推理蒸馏方法缺乏对学生模型能力来源的细致分析，难以判断其泛化能力。
- 提出跨模型推理蒸馏溯源框架，通过概率比较追踪学生模型行为的来源。
- 实验表明，蒸馏模型在测试时能生成教师模型行为，并据此提出教师引导的数据选择方法。
📝 摘要（中文）
推理蒸馏越来越受到关注。它通常利用大型教师模型生成推理路径，然后使用这些路径来微调学生模型，使其在训练环境中模仿教师的行为。然而，先前的方法缺乏对蒸馏模型能力来源的详细分析。目前尚不清楚学生模型是否能在新的测试环境中保持与教师模型一致的行为，或者是否会退回到其原始输出模式，这引发了对蒸馏模型泛化能力的担忧。为了分析这个问题，我们引入了一个跨模型的推理蒸馏溯源框架。对于蒸馏模型产生的每个动作（例如，一个句子），我们获取教师模型、原始学生模型和蒸馏模型在相同上下文下的预测概率。通过比较这些概率，我们将每个动作分类到不同的类别中。通过系统地解耦每个动作的来源，我们通过实验证明，在测试环境中，蒸馏模型确实可以生成源自教师模型的动作，这与观察到的蒸馏模型性能相关，并可能解释了其性能。在此分析的基础上，我们进一步提出了一种教师引导的数据选择方法。与依赖启发式方法的先前方法不同，我们的方法直接比较训练数据上教师-学生模型的差异，从而提供了一个有原则的选择标准。我们在多个具有代表性的教师模型和不同的学生模型上验证了我们方法的有效性。结果突出了我们的溯源框架的实用性，并强调了其在推理蒸馏中的前景。我们希望与社区分享推理蒸馏溯源框架以及我们对推理蒸馏的见解。
🔬 方法详解
问题定义：推理蒸馏旨在将大型教师模型的推理能力迁移到小型学生模型。然而，现有方法难以分析学生模型在蒸馏后获得的推理能力究竟来源于教师模型还是学生模型自身，这导致无法有效评估蒸馏模型的泛化能力，也难以指导训练数据的选择。
核心思路：核心思想是通过比较教师模型、原始学生模型和蒸馏后学生模型在相同上下文下的预测概率，来追踪蒸馏模型每个动作（例如，生成的句子）的来源。如果蒸馏模型的行为更接近教师模型，则认为该行为来源于教师模型；反之，则认为来源于学生模型自身。基于此，可以分析蒸馏模型的泛化能力，并指导训练数据的选择。
技术框架：该框架包含以下几个主要步骤：1) 对教师模型和学生模型进行推理蒸馏训练。2) 对于蒸馏模型生成的每个动作，获取教师模型、原始学生模型和蒸馏模型在相同上下文下的预测概率。3) 基于这些概率，将每个动作分类到不同的类别中，例如“教师来源”、“学生来源”等。4) 分析不同来源的动作与蒸馏模型性能之间的关系。5) 基于教师-学生模型差异，设计数据选择策略，选择更有利于知识迁移的数据进行训练。
关键创新：该论文的关键创新在于提出了一个跨模型的推理蒸馏溯源框架，能够细粒度地分析蒸馏模型的能力来源。与以往方法依赖启发式规则不同，该框架通过概率比较直接量化教师模型和学生模型之间的差异，从而为分析蒸馏模型的泛化能力和指导数据选择提供了理论依据。
关键设计：关键设计包括：1) 使用交叉熵损失函数进行蒸馏训练。2) 定义了基于概率差异的动作分类标准，用于区分教师来源和学生来源的动作。3) 提出了一种基于教师-学生模型差异的数据选择方法，选择教师模型预测概率高但学生模型预测概率低的样本进行训练。
🖼️ 关键图片
📊 实验亮点
实验结果表明，蒸馏模型在测试时能够生成源自教师模型的动作，并且这些动作与蒸馏模型的性能密切相关。通过教师引导的数据选择方法，可以在多个教师模型和学生模型上提高蒸馏模型的性能。例如，在某些任务上，该方法可以将蒸馏模型的准确率提高5%以上。
🎯 应用场景
该研究成果可应用于各种需要模型压缩和加速的场景，例如移动设备上的自然语言处理、边缘计算等。通过溯源分析，可以更好地理解和控制蒸馏模型的行为，提高其泛化能力和可靠性。此外，该研究提出的数据选择方法可以有效提高蒸馏效率，降低训练成本。
📄 摘要（原文）
Reasoning distillation has attracted increasing attention. It typically leverages a large teacher model to generate reasoning paths, which are then used to fine-tune a student model so that it mimics the teacher's behavior in training contexts. However, previous approaches have lacked a detailed analysis of the origins of the distilled model's capabilities. It remains unclear whether the student can maintain consistent behaviors with the teacher in novel test-time contexts, or whether it regresses to its original output patterns, raising concerns about the generalization of distillation models. To analyse this question, we introduce a cross-model Reasoning Distillation Provenance Tracing framework. For each action (e.g., a sentence) produced by the distilled model, we obtain the predictive probabilities assigned by the teacher, the original student, and the distilled model under the same context. By comparing these probabilities, we classify each action into different categories. By systematically disentangling the provenance of each action, we experimentally demonstrate that, in test-time contexts, the distilled model can indeed generate teacher-originated actions, which correlate with and plausibly explain observed performance on distilled model. Building on this analysis, we further propose a teacher-guided data selection method. Unlike prior approach that rely on heuristics, our method directly compares teacher-student divergences on the training data, providing a principled selection criterion. We validate the effectiveness of our approach across multiple representative teacher models and diverse student models. The results highlight the utility of our provenance-tracing framework and underscore its promise for reasoning distillation. We hope to share Reasoning Distillation Provenance Tracing and our insights into reasoning distillation with the community.