Tailoring the Curriculum: Student-Centered Reasoning Distillation via Dynamic Data-Model Compatibility

📄 arXiv: 2605.29229v1 📥 PDF

作者: Jiahao Huang, Fei Cheng, Junfeng Jiang, Akiko Aizawa

分类: cs.AI

发布日期: 2026-05-28

💡 一句话要点

提出数据-模型兼容性指标，用于指导学生模型推理蒸馏的数据选择。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理蒸馏 数据选择 数据-模型兼容性 大型语言模型 学生模型

📋 核心要点

  1. 现有推理蒸馏方法依赖于高质量的训练数据，但忽略了数据与学生模型的兼容性，导致蒸馏效果不佳。
  2. 论文提出数据-模型兼容性（DMC）指标，综合评估数据质量、难度和学生模型能力，用于指导数据选择。
  3. 实验证明DMC与蒸馏性能高度相关，基于DMC的数据选择策略能显著提升学生模型的推理能力。

📝 摘要（中文）

本文提出了一种名为“数据-模型兼容性”（DMC）的指标，用于评估数据集对学生模型进行推理蒸馏的适用性。DMC通过联合考虑数据质量、相对难度和学生模型的能力来进行评估。实验从两个方面验证了DMC的有效性：（1）DMC与推理蒸馏性能表现出很强的相关性；（2）使用DMC作为数据选择的标准可以提高推理蒸馏的性能。这些发现在多个学生模型和任务中得到了一致的证明。此外，由于每个数据集的DMC在训练过程中动态变化，实验表明，基于DMC动态选择数据集可以进一步提高性能。

🔬 方法详解

问题定义：现有推理蒸馏方法在将大型语言模型（LLMs）的推理能力迁移到小型模型时，往往忽略了训练数据与学生模型之间的兼容性。简单地使用LLM生成的数据进行训练，可能因为数据质量、难度或与学生模型能力不匹配等问题，导致蒸馏效果不佳。因此，如何选择最适合学生模型的数据集，是推理蒸馏的关键挑战。

核心思路：论文的核心思路是提出一个能够量化数据与模型之间兼容性的指标，即数据-模型兼容性（DMC）。DMC综合考虑了数据质量、相对难度以及学生模型的能力。通过DMC，可以评估一个数据集对于特定学生模型的适用性，并据此选择最适合的数据进行训练，从而提高推理蒸馏的性能。

技术框架：该方法主要包含以下几个步骤：1) 定义DMC指标，该指标基于数据质量、相对难度和学生模型能力计算得出。2) 使用DMC评估多个候选数据集。3) 根据DMC值选择数据集进行训练。4) 在训练过程中，动态监测每个数据集的DMC值，并根据DMC的变化动态调整数据集的选择。整体流程旨在找到最适合学生模型的数据集，并随着训练的进行不断优化数据选择策略。

关键创新：该论文最重要的技术创新点在于提出了DMC指标，该指标能够综合评估数据质量、相对难度和学生模型能力，从而量化数据与模型之间的兼容性。与现有方法相比，DMC不仅考虑了数据的绝对质量，还考虑了数据对于特定学生模型的相对难度，以及学生模型处理数据的能力。这种综合性的评估方式能够更准确地反映数据集的适用性，从而提高推理蒸馏的性能。

关键设计：DMC指标的具体计算方式未知，但根据论文描述，它需要考虑以下几个因素：数据质量（例如，数据的正确性、一致性等）、相对难度（例如，数据所涉及的推理步骤数量、逻辑复杂度等）以及学生模型的能力（例如，模型的大小、训练程度等）。具体如何将这些因素结合起来计算DMC值，以及如何根据DMC值选择数据集，需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DMC与推理蒸馏性能之间存在显著的相关性。使用DMC作为数据选择标准，在多个学生模型和任务上均能提高推理蒸馏的性能。更重要的是，动态地根据DMC选择数据集进行训练，能够进一步提升性能，表明DMC能够有效地指导数据选择，并适应学生模型在训练过程中的能力变化。

🎯 应用场景

该研究成果可应用于各种需要将大型语言模型的推理能力迁移到小型模型的场景，例如移动设备上的智能助手、资源受限的边缘计算设备等。通过选择与学生模型兼容的数据进行训练，可以显著提高小型模型的推理性能，使其能够在资源有限的环境中执行复杂的推理任务。

📄 摘要（原文）

Reasoning distillation transfers complex reasoning abilities from large language models (LLMs) to smaller ones, yet its success depends on how well the training data align with the student model. This paper introduces the Data-Model Compatibility (DMC) metric, which can be used to assess the suitability of a dataset for reasoning distillation on a student model. DMC provides an assessment by jointly considering data quality, relative difficulty, and student capability. We validated the effectiveness of DMC from two perspectives: (1) DMC exhibits a strong correlation with reasoning distillation performance; and (2) using DMC as the criterion for data selection leads to improved reasoning distillation performance. Both findings are consistently demonstrated across multiple student models and tasks. Moreover, since the DMC of each dataset dynamically changes during training, our experiments demonstrate that dynamically selecting datasets based on DMC can further enhance performance.