Learning from Unverified Peers via Shared Residual Distillation

📄 arXiv: 2610.22080v1 📥 PDF

作者: Feiyang Chen, Runze Ma, Zichen Wang, Jiong Lou, Zihan Wang, Shuangjia Zheng, Jie Li

分类: cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出共享残差蒸馏方法以从未验证的同伴学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 共享残差蒸馏 自我蒸馏 未验证学习 语言模型 机器学习

📋 核心要点

  1. 现有方法依赖于外部监督，无法有效利用模型自身生成的未验证结果，导致学习过程受限。
  2. 论文提出的共享残差蒸馏（SRD）方法，通过比较同伴的预测分布变化，保留有价值的调整，进行自我蒸馏。
  3. SRD在Qwen3系列模型上显著提升了性能，平均AIME24--26 avg@12从11.02提升至16.20，显示出良好的效果。

📝 摘要（中文）

语言模型可以生成多个解决方案，其中一些是正确的，另一些则是错误的。许多后训练方法依赖于参考答案、可验证反馈或外部教师进行监督。然而，在没有这些监督的情况下，从模型自身生成的结果中学习变得不那么直接。论文提出了一种名为共享残差蒸馏（SRD）的方法，旨在从模型的未验证同伴轨迹中学习。SRD比较同伴如何相对于控制改变预测分布，保留方向一致且幅度保守的调整，从而在不将任何完整解决方案视为正确的情况下提供监督。实验结果表明，SRD在多个基准测试中显著提高了模型性能。

🔬 方法详解

问题定义：论文要解决的问题是如何在缺乏外部监督的情况下，从模型自身生成的未验证解决方案中进行有效学习。现有方法通常依赖于参考答案或外部教师，这限制了模型的自我学习能力。

核心思路：论文的核心思路是共享残差蒸馏（SRD），通过比较同伴模型的预测分布变化，保留方向一致且幅度保守的调整，从而实现自我蒸馏。这种方法允许模型在没有明确正确答案的情况下，仍能从未验证的生成结果中学习。

技术框架：SRD的整体架构包括以下几个主要模块：首先，模型生成多个解决方案；其次，比较这些解决方案的预测分布变化；最后，保留有价值的调整并进行自我蒸馏。整个过程无需外部监督，完全依赖模型自身的生成能力。

关键创新：SRD的最重要创新在于它能够在没有明确正确答案的情况下，从未验证的同伴解决方案中提取有用信息。这与传统方法依赖外部监督的方式有本质区别，使得模型能够更灵活地进行自我学习。

关键设计：在关键设计方面，SRD采用了保守的调整策略，确保在保留同伴模型的预测变化时，不会引入过大的噪声。此外，损失函数的设计也注重于保留有价值的中间推理，而不仅仅是最终答案的正确性。整体网络结构保持了模型的原有架构，确保了训练过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SRD在Qwen3-1.7B模型上将平均AIME24--26 avg@12从11.02提升至16.20，在Qwen3-4B上从19.07提升至45.46，在Qwen3-8B上从21.39提升至54.44，展现了显著的性能提升，且在两个通用能力基准上未出现性能下降。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过提升模型在缺乏外部监督情况下的学习能力，SRD可以帮助构建更为智能和灵活的AI系统，未来可能在教育、客服等多个行业产生深远影响。

📄 摘要（原文）

A language model can generate several solutions to the same problem, some leading to correct answers and others to incorrect ones. Many post-training methods turn these trajectories into learning signals using supervision from reference answers, verifiable feedback, or external teachers. Without such supervision, learning from the model's own generations becomes less straightforward, as their correctness cannot be reliably assessed. An incorrect solution may nevertheless contain useful intermediate reasoning, so its value as supervision need not be determined solely by its final answer. Can a model improve by learning from its unverified peer solutions without first determining which are correct? We propose Shared Residual Distillation (SRD), an on-policy self-distillation method that learns from the model's own unverified peer trajectories. SRD compares how peers change the prediction distribution relative to a control, retaining adjustments that agree in direction and are conservative in magnitude. This yields supervision without treating any complete solution as correct, and the trained model requires no peers at inference time. Starting from the corresponding base models, SRD raises mean AIME24--26 avg@12 from 11.02 to 16.20 on Qwen3-1.7B, from 19.07 to 45.46 on Qwen3-4B, and from 21.39 to 54.44 on Qwen3-8B. Controlled ablations support the value of the shared-residual construction, and we observe no degradation relative to the base models on two general-capability benchmarks.