Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones?

📄 arXiv: 2502.19557v1 📥 PDF

作者: Yudi Zhang, Lu Wang, Meng Fang, Yali Du, Chenghua Huang, Jun Wang, Qingwei Lin, Mykola Pechenizkiy, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

分类: cs.CL, cs.AI

发布日期: 2025-02-26

备注: 14 pages, 7 figures

💡 一句话要点

提出基于自监督奖励学习的知识蒸馏方法，使小模型超越大模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 自监督学习 奖励学习 强化学习 大型语言模型 模型压缩 伪奖励 模型优化

📋 核心要点

  1. 现有知识蒸馏方法主要依赖于监督微调，忽略了教师模型中蕴含的质量评估信息（奖励信号）。
  2. 论文提出一种自监督奖励学习机制，通过分析教师和学生模型的输出结构，生成伪奖励信号，无需外部评估。
  3. 实验结果表明，该方法能有效提升学生模型的性能，使其在GSM8K和MMLU-PRO数据集上超越教师模型。

📝 摘要（中文）

本文提出了一种新颖的知识蒸馏流程，该流程不仅传递数据（输出内容），还传递奖励信号（质量评估）。由于大型语言模型（LLM）针对生成而非评估进行了优化，直接从教师模型提取可靠的奖励信号具有挑战性，通常会导致有偏差或不一致的评估。为了解决这个限制，我们提出了一种通过自监督机制生成伪奖励的方法，该机制利用教师和学生响应的内在结构，无需显式的外部评估即可进行奖励学习。奖励模型随后指导强化学习（RL），从而在SFT预热阶段之后迭代地改进学生模型。在GSM8K和MMLU-PRO上的实验表明，我们的方法始终优于传统的基于SFT的方法，使学生模型能够超越其教师的性能。这项工作突出了通过结构化的自监督奖励学习实现可扩展、高效蒸馏的潜力，从而减少了对外部奖励监督的依赖。

🔬 方法详解

问题定义：现有的知识蒸馏方法主要通过监督微调（SFT）将大型语言模型（LLM）的响应传递给学生模型。这种方法忽略了教师模型中蕴含的奖励信号，即对生成内容质量的评估。直接从LLM提取可靠的奖励信号是困难的，因为LLM被优化用于生成，而非评估，导致评估结果可能存在偏差或不一致性。

核心思路：本文的核心思路是通过自监督的方式，从教师模型和学生模型的输出中学习奖励信号，而无需依赖外部的显式奖励。具体来说，通过分析教师和学生模型输出的内在结构，设计一种机制来生成伪奖励，用于指导学生模型的训练。这种方法能够更有效地利用教师模型的信息，并避免了外部奖励带来的偏差。

技术框架：该方法包含以下几个主要阶段：1) 使用SFT对学生模型进行预热，使其具备一定的生成能力。2) 利用教师模型和学生模型生成响应，并基于这些响应的结构，通过自监督机制生成伪奖励。3) 使用奖励模型对学生模型的输出进行评估，并利用强化学习（RL）算法，根据奖励信号迭代优化学生模型。

关键创新：该方法最重要的创新点在于提出了自监督的奖励学习机制。与传统的知识蒸馏方法不同，该方法不仅传递数据（输出内容），还传递奖励信号（质量评估）。通过分析教师和学生模型输出的内在结构，生成伪奖励，无需外部显式评估，从而避免了外部奖励带来的偏差，并更有效地利用了教师模型的信息。

关键设计：在自监督奖励生成方面，具体的设计细节未知，论文中可能涉及特定的损失函数或网络结构来学习奖励模型。强化学习阶段可能采用常见的策略梯度算法，如PPO或Actor-Critic方法，以奖励模型为指导，优化学生模型的生成策略。具体的参数设置和网络结构细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在GSM8K和MMLU-PRO数据集上均优于传统的基于SFT的知识蒸馏方法。更重要的是，经过蒸馏的学生模型能够超越其教师模型的性能，证明了自监督奖励学习在知识蒸馏中的有效性。具体的性能提升数据需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要知识蒸馏的场景，例如将大型语言模型的知识迁移到资源受限的设备上，或者构建更高效、更轻量级的AI助手。通过自监督奖励学习，可以降低对人工标注数据的依赖，提高知识蒸馏的效率和可扩展性，从而加速AI技术的普及和应用。

📄 摘要（原文）

Distilling large language models (LLMs) typically involves transferring the teacher model's responses through supervised fine-tuning (SFT). However, this approach neglects the potential to distill both data (output content) and reward signals (quality evaluations). Extracting reliable reward signals directly from teacher models is challenging, as LLMs are optimized for generation rather than evaluation, often resulting in biased or inconsistent assessments. To address this limitation, we propose a novel distillation pipeline that transfers both responses and rewards. Our method generates pseudo-rewards through a self-supervised mechanism that leverages the inherent structure of both teacher and student responses, enabling reward learning without explicit external evaluation. The reward model subsequently guides reinforcement learning (RL), allowing iterative refinement of the student model after an SFT warm-up phase. Experiments on GSM8K and MMLU-PRO demonstrate that our method consistently outperforms traditional SFT-based approaches, enabling student models to surpass the performance of their teachers. This work highlights the potential for scalable, efficient distillation through structured self-supervised reward learning, reducing dependence on external reward supervision.