BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
作者: Jiaming Su, Suorong Yang, Xudong Li, Tengchao Yang, Peng Ye
分类: cs.AI, cs.CL
发布日期: 2026-10-09
备注: 29 pages, 7 figures
💡 一句话要点
提出BoundaryEvo以解决长链推理蒸馏中的数据选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 长链推理 蒸馏训练 动态数据选择 能力边界 模型共演化
📋 核心要点
- 现有的长链推理蒸馏方法在数据选择上存在固定性，未能适应学生模型能力的演变，导致训练效果不佳。
- 本文提出BoundaryEvo框架，通过能力引导和能力边界共演化，动态调整训练数据以适应学生模型的能力变化。
- 在仅使用1000个训练示例的情况下，BoundaryEvo在11个推理基准上超越了静态和动态选择基线，准确率显著提升。
📝 摘要（中文）
从大型教师模型中蒸馏长链推理轨迹是提升小型语言模型推理能力的有效方法。然而，现有方法通常在蒸馏前选择固定的训练集，忽视了推理示例的有效性会随着学生模型的演变而变化。为了解决这一挑战，本文提出了BoundaryEvo，一个两阶段的数据-模型共演化框架，旨在根据学生模型的能力边界动态调整训练数据。实验结果表明，BoundaryEvo在11个推理基准上显著优于静态和动态数据选择基线，提升了Qwen3.5-4B模型的准确率。
🔬 方法详解
问题定义：本文旨在解决长链推理蒸馏中，固定训练集无法适应学生模型能力演变的问题。现有方法在数据选择上缺乏灵活性，导致训练效果受限。
核心思路：论文的核心思路是通过建立基本推理能力后，动态调整训练数据以适应学生模型的能力边界。这种设计使得学生能够在不断演化中获得更有效的监督。
技术框架：BoundaryEvo框架分为两个主要阶段：能力引导和能力边界共演化。在能力引导阶段，直接蒸馏教师生成的推理轨迹；在能力边界共演化阶段，选择当前学生未掌握但教师能够解决的问题，动态更新训练数据。
关键创新：最重要的创新点在于提出了能力边界共演化的概念，允许训练数据根据学生模型的能力动态调整，与传统静态数据选择方法形成鲜明对比。
关键设计：在能力引导阶段，使用少量教师生成的长推理轨迹进行初步蒸馏；在能力边界共演化阶段，采用动态选择策略，确保所选问题在学生能力范围内，避免过难或过易的示例。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BoundaryEvo在11个推理基准上表现优异，Qwen3.5-4B模型在IMO-AnswerBench上的准确率从62.9提升至75.3，在AMO-Bench上的准确率从26.8提升至46.0，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的推理任务、智能问答系统以及教育技术等。通过提升小型语言模型的推理能力，BoundaryEvo能够在资源受限的环境中实现更高效的知识传递和学习，具有重要的实际价值和未来影响。
📄 摘要（原文）
Distilling long-chain reasoning trajectories from large teacher models provides an effective way to improve the reasoning ability of small language models. However, existing methods typically select a fixed training set before distillation, overlooking that the usefulness of a reasoning example changes as the student evolves. This mismatch becomes especially costly when only a small number of teacher trajectories can be used for training. Besides, examples already mastered provide little new supervision, while examples far beyond the capability of student may be difficult to learn from. Training data should therefore adapt as model capability evolves, yet reliable data selection is difficult when the student is initially weak. To address these challenges, our key idea is to first establish the basic reasoning capability and then adapt the training data to the evolving capability boundary of the student. We propose BoundaryEvo, a two-stage data--model co-evolution framework. In Capability Priming, we directly distill a small set of teacher-generated long reasoning trajectories without using a separate model to judge and filter them, allowing the student to acquire an initial reasoning capability before capability-aware data selection. In Capability-Boundary Co-Evolution, we repeatedly select questions that the current student has not mastered but the expert can reliably solve, and update the training data as the student evolves. With only 1,000 training examples, BoundaryEvo consistently outperforms static and dynamic data selection baselines across 11 reasoning benchmarks, raising the original Qwen3.5-4B accuracy from 62.9 to 75.3 on IMO-AnswerBench and from 26.8 to 46.0 on AMO-Bench. The code and data will be made publicly available.