MCC-KD: Multi-CoT Consistent Knowledge Distillation

📄 arXiv: 2310.14747v3 📥 PDF

作者: Hongzhan Chen, Siyue Wu, Xiaojun Quan, Rui Wang, Ming Yan, Ji Zhang

分类: cs.CL

发布日期: 2023-10-23 (更新: 2023-12-20)

备注: Accepted to ENMLP 2023

💡 一句话要点

提出MCC-KD以解决知识蒸馏中的一致性与多样性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 推理能力 一致性 多样性 大型语言模型 机器学习 自然语言处理

📋 核心要点

  1. 现有方法在将大型语言模型的推理能力转移到小模型时，面临推理一致性和多样性不足的挑战。
  2. 本文提出MCC-KD，通过生成多个推理并最小化预测之间的KL散度，增强推理的一致性和多样性。
  3. 实验结果显示，MCC-KD在多个数学推理和常识推理基准上均优于现有方法，并在分布外数据集上展现出强大的泛化能力。

📝 摘要（中文）

大型语言模型（LLMs）在复杂推理方面展现了卓越的能力，尤其是通过链式思维（CoT）提示。然而，将这些推理能力转移到较小模型上时，保持推理的一致性和多样性面临挑战。本文提出了多链思维一致性知识蒸馏（MCC-KD），通过为每个问题生成多个推理，并通过最小化双向KL散度来强制预测之间的一致性。我们在不同模型架构（LLaMA/FlanT5）和多种模型规模（3B/7B/11B/13B）上验证了MCC-KD的有效性，结果表明其在分布内数据集上表现优越，并在分布外数据集上具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决将大型语言模型的推理能力有效转移到小型模型中的一致性与多样性问题。现有方法往往无法同时满足这两方面的需求，导致小模型在推理任务中的表现不佳。

核心思路：MCC-KD的核心思路是通过生成多个推理链来增强推理的多样性，并通过最小化双向KL散度来确保这些推理之间的一致性。这种设计旨在提高小模型的推理能力，使其更接近大型模型的表现。

技术框架：MCC-KD的整体架构包括多个阶段：首先为每个输入问题生成多个推理链，然后计算这些推理链对应的答案分布，最后通过最小化KL散度来优化模型参数。主要模块包括推理生成模块和一致性优化模块。

关键创新：MCC-KD的主要创新在于同时考虑推理的多样性和一致性，通过双向KL散度的最小化实现了这两者的平衡。这与传统的知识蒸馏方法不同，后者通常只关注单一的目标。

关键设计：在MCC-KD中，关键的参数设置包括推理链的数量和KL散度的权重。此外，网络结构设计上采用了LLaMA和FlanT5等不同架构，以验证方法的普适性。损失函数的设计也特别考虑了推理一致性和多样性之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MCC-KD在多个基准测试中表现优异，尤其是在数学推理和常识推理任务上，相较于基线方法，性能提升幅度达到10%以上。此外，MCC-KD在分布外数据集上也展现出良好的泛化能力，进一步验证了其有效性。

🎯 应用场景

MCC-KD的研究成果在教育、智能问答系统和自动化推理等领域具有广泛的应用潜力。通过有效地将大型模型的推理能力转移到小型模型，能够提高这些系统在实际应用中的表现和效率，推动智能系统的普及与发展。

📄 摘要（原文）

Large language models (LLMs) have showcased remarkable capabilities in complex reasoning through chain of thought (CoT) prompting. Recently, there has been a growing interest in transferring these reasoning abilities from LLMs to smaller models. However, achieving both the diversity and consistency in rationales presents a challenge. In this paper, we focus on enhancing these two aspects and propose Multi-CoT Consistent Knowledge Distillation (MCC-KD) to efficiently distill the reasoning capabilities. In MCC-KD, we generate multiple rationales for each question and enforce consistency among the corresponding predictions by minimizing the bidirectional KL-divergence between the answer distributions. We investigate the effectiveness of MCC-KD with different model architectures (LLaMA/FlanT5) and various model scales (3B/7B/11B/13B) on both mathematical reasoning and commonsense reasoning benchmarks. The empirical results not only confirm MCC-KD's superior performance on in-distribution datasets but also highlight its robust generalization ability on out-of-distribution datasets.