Does self-distillation improve reasoning?
作者: Jason Ken Adhinarta, Raina Wu, Ashutosh Sharma, Avinash Balakrishnan, Rameswar Panda, Polina Golland, Yoon Kim, Zhang-Wei Hong
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-10-13
备注: 33 pages, 11 figures, 24 tables
🔗 代码/项目: GITHUB
💡 一句话要点
重新审视自蒸馏在推理中的有效性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 推理能力 策略优化 模型泛化 特权信息
📋 核心要点
- 现有自蒸馏方法在未见问题上的泛化能力不足，且常常受到过拟合的影响。
- 本文重新审视SDPO和OPSD方法，探讨其在不同任务中的表现及其对特权信息的利用。
- 实验结果显示，自蒸馏方法的收益并不一致，且与直接优化策略的梯度对齐度较弱。
📝 摘要（中文）
自蒸馏是一种新兴方法，旨在训练模型模仿自身在特权信息下的预测。尽管近期方法在样本效率和泛化能力上优于强化学习，但这些优势是否超出分布内评估仍不明确。本文重新审视了自蒸馏策略优化（SDPO）和在线自蒸馏（OPSD）在代码、科学、工具使用和数学推理任务中的表现，发现其报告的收益并不总是能在未见问题上泛化，且主要由过拟合或现有推理行为的转移解释，而非有效利用特权信息。此外，自蒸馏梯度与直接优化期望奖励的策略梯度之间的对齐度较弱，质疑其是否能有效指导策略改进。我们的实验表明，如何有效利用特权信息以提升推理能力仍然是一个开放挑战。
🔬 方法详解
问题定义：本文旨在探讨自蒸馏方法在推理任务中的有效性，尤其是其在未见问题上的泛化能力不足和过拟合现象。现有方法在特权信息的利用上存在不明确性。
核心思路：通过重新审视SDPO和OPSD方法，分析其在不同任务中的表现，探讨其是否真正有效利用特权信息来提升推理能力。
技术框架：研究采用了多种任务（如代码、科学、工具使用和数学推理）进行实验，比较了不同模型（如Qwen3和OLMo-3）在自蒸馏下的表现，分析其梯度与策略梯度的对齐情况。
关键创新：本文的创新在于揭示了自蒸馏方法在未见问题上的泛化能力不足，质疑了其在推理改进中的有效性，并指出了特权信息利用的挑战。
关键设计：实验中使用了多种模型架构，关注自蒸馏梯度与策略梯度的关系，探讨了损失函数的设计及其对模型性能的影响。具体参数设置和网络结构细节在代码中提供。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SDPO和OPSD在不同任务中的收益并不一致，且在未见问题上的泛化能力较弱。自蒸馏梯度与策略梯度的对齐度较低，表明其在策略改进中的有效性存疑。具体性能数据和对比基线在实验中详细列出。
🎯 应用场景
该研究的潜在应用领域包括智能决策系统、自动化推理工具和教育技术等。通过深入理解自蒸馏的有效性，可以为未来的模型设计提供指导，提升模型在复杂推理任务中的表现，进而推动人工智能的应用发展。
📄 摘要（原文）
Self-distillation is an emerging approach that trains a model to imitate its own predictions when conditioned on privileged information, such as correct answers or environmental feedback. Recent methods have reported better sample efficiency and generalization than reinforcement learning (RL), but it remains unclear whether these gains extend beyond in-distribution evaluations and whether they stem from privileged distillation. In this paper, we revisit two representative methods, Self-Distillation Policy Optimization (SDPO) and On-Policy Self-Distillation (OPSD), across code, science, tool use, and math reasoning tasks. We find that their reported gains do not consistently generalize to unseen problems and are largely explained by overfitting or transferring existing reasoning behavior, rather than effectively using privileged information. Moreover, self-distillation gradients show weak alignment with policy gradients that directly optimize expected reward, questioning whether they provide an effective direction for policy improvement. Our experiments across Qwen3 models (1.7B-14B) and OLMo-3-7B suggest that effectively leveraging privileged information to improve reasoning remains an open challenge. Our code is available at https://github.com/sleepypandu/does-sd-improve-reasoning