QCRD: Quality-guided Contrastive Rationale Distillation for Large Language Models

📄 arXiv: 2405.13014v2 📥 PDF

作者: Wei Wang, Zhaowei Li, Qi Xu, Yiqing Cai, Hang Song, Qi Qi, Ran Zhou, Zhida Huang, Tao Wang, Li Xiao

分类: cs.CL, cs.AI

发布日期: 2024-05-14 (更新: 2024-09-19)

💡 一句话要点

QCRD：基于质量引导的对比式推理蒸馏，提升小模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识蒸馏 对比学习 负样本生成 推理能力

📋 核心要点

  1. 现有大模型蒸馏方法忽略了知识的多样性和质量，尤其缺乏对负向知识的有效利用。
  2. QCRD框架通过对比学习正向和负向知识，提升小模型的推理能力，核心在于自对抗的负样本生成。
  3. 实验表明，QCRD在多个推理任务上超越现有蒸馏方法，生成更高质量的推理过程。

📝 摘要（中文）

大型语言模型（LLMs）的部署面临资源约束和推理效率的挑战。本文提出了一种名为质量引导的对比式推理蒸馏（QCRD）框架，旨在通过对比知识学习来增强小模型的推理能力。对于正向知识，通过温度采样丰富其多样性，并采用自洽性进行去噪和提炼。对于负向知识，提出了一种创新的自对抗方法，通过采样小模型先前迭代的低质量推理来生成负向知识。开发了一种对比损失，将正向和负向知识蒸馏到小模型中，并集成了一个在线更新的判别器来评估推理的质量并分配适当的权重，从而优化训练过程。在多个推理任务上的大量实验表明，该方法始终优于现有的蒸馏技术，产生更高质量的推理。

🔬 方法详解

问题定义：现有的大语言模型蒸馏方法通常只关注从大模型中提取正向知识，而忽略了负向知识的重要性。如何有效地利用负向知识，特别是如何构建高质量的负样本，是当前蒸馏方法面临的痛点。此外，现有方法也较少关注知识的多样性和质量，导致蒸馏效果受限。

核心思路：QCRD的核心思路是通过对比学习的方式，同时利用高质量的正向知识和具有挑战性的负向知识来训练小模型。通过让小模型区分高质量和低质量的推理过程，从而提升其推理能力。自对抗的负样本生成策略是关键，它允许模型从自身的弱点中学习。

技术框架：QCRD框架包含以下几个主要模块：1) 正向知识生成模块：通过温度采样增加正向知识的多样性，并使用自洽性进行去噪。2) 负向知识生成模块：采用自对抗方法，利用小模型先前迭代的输出来生成低质量的推理过程。3) 对比学习模块：设计对比损失函数，促使小模型学习区分高质量和低质量的推理过程。4) 在线判别器：用于评估推理过程的质量，并为不同的推理过程分配不同的权重，从而优化训练过程。

关键创新：QCRD最重要的技术创新点在于其自对抗的负样本生成策略。与传统的随机生成负样本的方法不同，QCRD利用小模型自身产生的低质量推理过程作为负样本，使得负样本更具挑战性，更能有效地提升小模型的推理能力。此外，在线判别器的引入也使得模型能够动态地调整不同推理过程的权重，从而更好地利用正向和负向知识。

关键设计：在正向知识生成方面，使用了温度采样来控制生成推理过程的多样性。在负向知识生成方面，采用了自对抗的方式，即使用小模型先前迭代的输出来生成负样本。对比损失函数的设计是关键，它促使小模型学习区分高质量和低质量的推理过程。在线判别器采用神经网络结构，其输入是推理过程，输出是推理质量的评分。判别器的训练与小模型的训练同步进行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QCRD在多个推理任务上显著优于现有的蒸馏方法。例如，在某个基准测试中，QCRD将小模型的准确率提高了超过5%，并且生成的推理过程也更加清晰和合理。与直接使用大型语言模型进行推理相比，QCRD在保证性能的同时，显著降低了计算成本和延迟。

🎯 应用场景

QCRD方法可应用于各种需要高效推理的场景，例如移动设备上的智能助手、边缘计算环境下的自然语言处理任务等。通过将大型语言模型的知识蒸馏到小型模型中，可以在资源受限的环境下实现高性能的推理，降低部署成本，并加速模型推理速度。该方法还有助于提升小模型在复杂推理任务中的表现，使其能够更好地理解和解决问题。

📄 摘要（原文）

The deployment of large language models (LLMs) faces considerable challenges concerning resource constraints and inference efficiency. Recent research has increasingly focused on smaller, task-specific models enhanced by distilling knowledge from LLMs. However, prior studies have often overlooked the diversity and quality of knowledge, especially the untapped potential of negative knowledge. Constructing effective negative knowledge remains severely understudied. In this paper, we introduce a novel framework called quality-guided contrastive rationale distillation aimed at enhancing reasoning capabilities through contrastive knowledge learning. For positive knowledge, we enrich its diversity through temperature sampling and employ self-consistency for further denoising and refinement. For negative knowledge, we propose an innovative self-adversarial approach that generates low-quality rationales by sampling previous iterations of smaller language models, embracing the idea that one can learn from one's own weaknesses. A contrastive loss is developed to distill both positive and negative knowledge into smaller language models, where an online-updating discriminator is integrated to assess qualities of rationales and assign them appropriate weights, optimizing the training process. Through extensive experiments across multiple reasoning tasks, we demonstrate that our method consistently outperforms existing distillation techniques, yielding higher-quality rationales.